When viewing the task of renewing the internal knowledge of LMs as one of CL formulations, pretraining on the original corpus can be considered as a _previous task_, and continued pretraining on new corpus can be considered as the _current task_, the main objective becoming retaining the _time-invariant_ world knowledge gained through initial pretraining while efficiently learning _new_ and _updated_ world knowledge through continued pretraining. Throughout the paper, we let \(D_{0}\) refer to the corpus used for initial pretraining and let \(D_{1}\) denote the new corpus used for continued pretraining.
LM의 내부 지식 갱신 작업을 CL 공식화의 하나로 볼 때, 원본 코퍼스에 대한 pretraining은 _이전 작업_으로 간주할 수 있고, 새로운 코퍼스에 대한 지속적인 pretraining은 _현재 작업_으로 간주할 수 있으며, 주요 목표는 초기 pretraining을 통해 얻은 _시간 불변_ 세계 지식을 유지하는 동시에 지속적인 pretraining을 통해 _새로운_ 및 _업데이트된_ 세계 지식을 효율적으로 학습하는 것입니다. 이 논문에서는 \(D_{0}\)은 초기 pretraining에 사용된 코퍼스를 의미하고, \(D_{1}\)은 지속적인 pretraining에 사용된 새로운 코퍼스를 의미하도록 합니다.
LM의 내부 지식 갱신 작업을 CL 공식화의 하나로 볼 때, 원본 코퍼스에 대한 사전 학습은 _이전 작업_으로 간주할 수 있고, 새로운 코퍼스에 대한 지속적인 사전 학습은 _현재 작업_으로 간주할 수 있으며, 주요 목표는 초기 사전 학습을 통해 얻은 _시간 불변_ 세계 지식을 유지하는 동시에 지속적인 사전 학습을 통해 _새로운_ 및 _업데이트된_ 세계 지식을 효율적으로 학습하는 것입니다. 이 논문에서는 \(D_{0}\)은 초기 사전 학습에 사용된 코퍼스를 의미하고, \(D_{1}\)은 지속적인 사전 학습에 사용된 새로운 코퍼스를 의미하도록 합니다.