In order to renew the internal knowledge of LMs, one might consider pretraining LMs from scratch with a newly updated text corpus of a scale similar to the one used during initial pretraining, such as a recent dump of the entire Wikipedia. However, this approach is computationally demanding and also environmentally harmful (Patterson et al., 2021). Another alternative approach is continuing the pretraining process on a much smaller corpus containing new world knowledge, but such a methodology is known to suffer from _catastrophic forgetting_(McCloskey and Cohen, 1989; Kirkpatrick et al., 2017), where the models forget previously learned knowledge as they acquire new knowledge.
LM의 내부 지식을 새로 고치기 위해서는 초기 pretraining에 사용된 것과 비슷한 규모의 최신 텍스트 코퍼스(예: 최신 위키피디아 전체 덤프)로 LM을 처음부터 pretraining하는 것을 고려할 수 있습니다. 그러나 이 접근 방식은 계산 집약적이며 환경적으로도 해롭습니다(Patterson et al., 2021). 또 다른 대안으로는 새로운 세계 지식이 포함된 훨씬 더 작은 코퍼스에 대해 pretraining 과정을 계속하는 방법이 있지만, 이러한 방법론은 모델이 새로운 지식을 습득할 때 이전에 학습한 지식을 잊어버리는 'catastrophic forgetting'(McCloskey and Cohen, 1989; Kirkpatrick et al., 2017)을 겪는 것으로 알려져 있습니다.
LM의 내부 지식을 새로 고치기 위해서는 초기 사전 학습에 사용된 것과 비슷한 규모의 최신 텍스트 코퍼스(예: 최신 위키피디아 전체 덤프)로 LM을 처음부터 사전 학습하는 것을 고려할 수 있습니다. 그러나 이 접근 방식은 계산 집약적이며 환경적으로도 해롭습니다(Patterson et al., 2021). 또 다른 대안으로는 새로운 세계 지식이 포함된 훨씬 더 작은 코퍼스에 대해 사전 학습 과정을 계속하는 방법이 있지만, 이러한 방법론은 모델이 새로운 지식을 습득할 때 이전에 학습한 지식을 잊어버리는 '재앙적 망각'(McCloskey and Cohen, 1989; Kirkpatrick et al., 2017)을 겪는 것으로 알려져 있습니다.