Let \(T\) be an arbitrary task and \((D_{i})_{i=0}^{n}\) be a sequence of corpora used for LM pretraining, where \(D_{0}\) is the initial pretraining corpus. We define \(\text{Gap}(T,D_{a},D_{b})=Score(T)\) of \(LM_{a}-Score(T)\) of \(LM_{b}\), where \(LM_{a}\) represents the LM after being pretrained on \(D_{a}\). Then, we denote \(\mathbb{T}^{F}=(T_{i}^{F})_{i=0}^{n-1}\) as a sequence of tasks from \((D_{i})_{i=0}^{n-1}\) measuring the forgetting of invariant-knowledge from each corresponding corpus. If there is no such task from corpus \(D_{i}\), the value of \(T_{i}^{F}\) is set to \(n.d.\), which means _not defined_. Likewise, we denote \(T_{n}^{U}\) and \(T_{n}^{A}\) as tasks from \(D_{n}\) measuring the _update_ and _acquisition_ of new knowledge, respectively.
T\)를 임의의 작업으로 하고, \((D_{i})_{i=0}^{n}\)을 LM pretraining에 사용되는 말뭉치 시퀀스로 정의하며, 여기서 \(D_{0}\)은 초기 pretraining 말뭉치입니다. 여기서 \(LM_{a}\)는 \(D_{a}\)에서 pretraining을 거친 후의 LM을 나타냅니다. 그런 다음, \(\mathbb{T}^{F}=(T_{i}^{F})_{i=0}^{n-1}\)를 각 해당 말뭉치에서 불변 지식의 잊어버림을 측정하는 \((D_{i})_{i=0}^{n-1}\)의 작업 시퀀스로 표시합니다. 말뭉치 \(D_{i}\)에서 이러한 작업이 없는 경우, \(T_{i}^{F}\)의 값은 _정의되지 않음_을 의미하는 \(n.d.\)로 설정됩니다. 마찬가지로, \(T_{n}^{U}\)와 \(T_{n}^{A}\)는 각각 새로운 지식의 _update_와 _acquisition_을 측정하는 \(D_{n}\)의 작업으로 표시합니다.
T\)를 임의의 작업으로 하고, \((D_{i})_{i=0}^{n}\)을 LM 사전 학습에 사용되는 말뭉치 시퀀스로 정의하며, 여기서 \(D_{0}\)은 초기 사전 학습 말뭉치입니다. 여기서 \(LM_{a}\)는 \(D_{a}\)에서 사전 학습을 거친 후의 LM을 나타냅니다. 그런 다음, \(\mathbb{T}^{F}=(T_{i}^{F})_{i=0}^{n-1}\)를 각 해당 말뭉치에서 불변 지식의 잊어버림을 측정하는 \((D_{i})_{i=0}^{n-1}\)의 작업 시퀀스로 표시합니다. 말뭉치 \(D_{i}\)에서 이러한 작업이 없는 경우, \(T_{i}^{F}\)의 값은 _정의되지 않음_을 의미하는 \(n.d.\)로 설정됩니다. 마찬가지로, \(T_{n}^{U}\)와 \(T_{n}^{A}\)는 각각 새로운 지식의 _업데이트_와 _획득_을 측정하는 \(D_{n}\)의 작업으로 표시합니다.