In this work, we propose a novel continual learning (CL) formulation named Continual KnowledgeLearning (CKL), where we attempt to renew the internal world knowledge of LMs through continual pretraining on new corpora. We systematically categorize world knowledge into three main categories and make benchmark datasets to measure each of them during CKL: (1) InvariantLAMA for _time-invariant_ world knowledge in LMs that should not be forgotten or altered, (2) UpdatedLAMA for outdated world knowledge that needs to be _updated_ in the LMs, and (3) NewLAMA for _new_ world knowledge that should be injected into the LMs. We also propose a novel metric named FUAR (Forgotten / (Updated + Acquired) Ratio) that can measure the trade-off between forgetting, updating, and acquiring knowledge. Finally, while one might think of implementing contemporary CL methods for this benchmark, we show that CKL has nontrivial differences to traditional CL formulations and require approaches specific to CKL. We find and compare model architectures and training methodologies (Chen et al., 2020; He et al., 2021; Hu et al., 2021; Wang et al., 2021b) from the literature that have shown potential to mitigate forgetting of knowledge gained during pretraining, establishing them as baselines for the CKL benchmark.
이 연구에서는 새로운 말뭉치에 대한 지속적인 전처리를 통해 LM의 내부 세계 지식을 새롭게 갱신하는 Continual Knowledge Learning (CKL)이라는 새로운 Continual Learning (CL) 공식을 제안합니다. 세계 지식을 세 가지 주요 범주로 체계적으로 분류하고 각각을 측정하기 위한 벤치마크 데이터 세트를 만들었습니다: (1) LM에서 잊혀지거나 변경되어서는 안 되는 _시간 불변_ 세계 지식을 위한 InvariantLAMA, (2) LM에서 _업데이트_해야 하는 오래된 세계 지식을 위한 UpdatedLAMA, (3) LM에 주입되어야 하는 _새로운_ 세계 지식을 위한 NewLAMA. 또한 잊어버림, 업데이트, 습득 지식 간의 절충점을 측정할 수 있는 FUAR (Forgotten / (Updated + Acquired) Ratio)라는 새로운 지표를 제안합니다. 마지막으로, 이 벤치마크를 위해 현대적인 CL 방법을 구현하는 것을 생각할 수 있지만, CKL은 기존 CL 공식과 비교할 때 사소한 차이가 있으며 CKL에 특화된 접근 방식이 필요하다는 것을 보여줍니다. 우리는 사전 학습 중에 습득한 지식의 잊어버림을 완화할 수 있는 잠재력을 보여준 모델 아키텍처와 훈련 방법론(Chen et al., 2020; He et al., 2021; Hu et al., 2021; Wang et al., 2021b)을 문헌에서 찾아 비교하여 CKL 벤치마크의 기준으로 설정합니다.
이 연구에서는 새로운 말뭉치에 대한 지속적인 전처리를 통해 LM의 내부 세계 지식을 새롭게 갱신하는 지속적인 지식 학습(CKL)이라는 새로운 지속 학습(CL) 공식을 제안합니다. 세계 지식을 세 가지 주요 범주로 체계적으로 분류하고 각각을 측정하기 위한 벤치마크 데이터 세트를 만들었습니다: (1) LM에서 잊혀지거나 변경되어서는 안 되는 _시간 불변_ 세계 지식을 위한 InvariantLAMA, (2) LM에서 _업데이트_해야 하는 오래된 세계 지식을 위한 UpdatedLAMA, (3) LM에 주입되어야 하는 _새로운_ 세계 지식을 위한 NewLAMA. 또한 잊어버림, 업데이트, 습득 지식 간의 절충점을 측정할 수 있는 FUAR(잊어버림 / (업데이트 + 습득) 비율)라는 새로운 지표를 제안합니다. 마지막으로, 이 벤치마크를 위해 현대적인 CL 방법을 구현하는 것을 생각할 수 있지만, CKL은 기존 CL 공식과 비교할 때 사소한 차이가 있으며 CKL에 특화된 접근 방식이 필요하다는 것을 보여줍니다. 우리는 사전 학습 중에 습득한 지식의 잊어버림을 완화할 수 있는 잠재력을 보여준 모델 아키텍처와 훈련 방법론(Chen et al., 2020; He et al., 2021; Hu et al., 2021; Wang et al., 2021b)을 문헌에서 찾아 비교하여 CKL 벤치마크의 기준으로 설정합니다.