* We propose a novel CL formulation called Continual Knowledge Learning (CKL) and construct a new benchmark to measure the amount of forgetting and amount of world knowledge gained by continued pretraining on a novel language modeling corpus that we construct, containing new knowledge. * We explore LM architectures and training methodologies that are natural baselines for CKL in literature, denoting them as CKL methods, and performing extensive experiments on our CKL benchmark. We categorize them into regularization, rehearsal, and parameter-expansion methods, same as in traditional CL literature, and compare the effectiveness of each type of method using a novel metric named FUAR that we propose to measure the trade-off between forgotten knowledge and updated or acquired knowledge. * Towards creating an ever-changing LM, we perform extensive analysis in the CKL benchmark and highlight important challenges and findings: parameter-expansion methods have the limitation of memory inefficiency despite performing the best in most of our experiments and seeing the same data repeatedly during continued pretraining is a critical cause of forgetting.
* 새로운 지식을 포함하는 새로운 언어 모델링 코퍼스에 대한 지속적인 사전 학습을 통해 잊어버린 지식의 양과 얻은 세계 지식의 양을 측정하기 위해 새로운 CL 공식인 지속적 지식 학습(CKL)을 제안하고 새로운 benchmark를 구축합니다. * 문헌에서 CKL의 자연스러운 기준이 되는 LM 아키텍처와 훈련 방법론을 탐색하여 CKL 방법으로 표시하고, CKL benchmark에 대한 광범위한 실험을 수행합니다. 기존 CL 문헌에서와 마찬가지로 regularization, rehearsal, parameter-expansion 방법으로 분류하고, 잊어버린 지식과 업데이트 또는 획득한 지식 간의 트레이드오프를 측정하기 위해 제안한 새로운 metric인 FUAR를 사용하여 각 유형의 방법의 효과를 비교합니다. * 끊임없이 변화하는 LM을 만들기 위해 CKL benchmark에서 광범위한 분석을 수행하고 중요한 과제와 발견을 강조합니다. parameter-expansion 방법은 대부분의 실험에서 가장 우수한 성능을 발휘하지만 메모리 비효율성이라는 한계가 있으며, 지속적인 사전 학습 중에 동일한 데이터를 반복적으로 보는 것은 잊어버림의 중요한 원인입니다.
* 새로운 지식을 포함하는 새로운 언어 모델링 코퍼스에 대한 지속적인 사전 학습을 통해 잊어버린 지식의 양과 얻은 세계 지식의 양을 측정하기 위해 새로운 CL 공식인 지속적 지식 학습(CKL)을 제안하고 새로운 벤치마크를 구축합니다. * 문헌에서 CKL의 자연스러운 기준이 되는 LM 아키텍처와 훈련 방법론을 탐색하여 CKL 방법으로 표시하고, CKL 벤치마크에 대한 광범위한 실험을 수행합니다. 기존 CL 문헌에서와 마찬가지로 정규화, 리허설, 파라미터 확장 방법으로 분류하고, 잊어버린 지식과 업데이트 또는 획득한 지식 간의 트레이드오프를 측정하기 위해 제안한 새로운 메트릭인 FUAR를 사용하여 각 유형의 방법의 효과를 비교합니다. * 끊임없이 변화하는 LM을 만들기 위해 CKL 벤치마크에서 광범위한 분석을 수행하고 중요한 과제와 발견을 강조합니다. 파라미터 확장 방법은 대부분의 실험에서 가장 우수한 성능을 발휘하지만 메모리 비효율성이라는 한계가 있으며, 지속적인 사전 학습 중에 동일한 데이터를 반복적으로 보는 것은 잊어버림의 중요한 원인입니다.