Large Language Models (LMs) are known to encode world knowledge in their parameters as they pretrain on a vast amount of web corpus, which is often utilized for performing knowledge-dependent downstream tasks such as question answering, fact-checking, and open dialogue. In real-world scenarios, the world knowledge stored in the LMs can quickly become outdated as the world changes, but it is non-trivial to avoid catastrophic forgetting and reliably acquire new knowledge while preserving invariant knowledge. To push the community towards better maintenance of ever-changing LMs, we formulate a new continual learning (CL) problem called Continual Knowledge Learning (CKL). We construct a new benchmark and metric to quantify the retention of time-invariant world knowledge, the update of outdated knowledge, and the acquisition of new knowledge. We adopt applicable recent methods from literature to create several strong baselines. Through extensive experiments, we find that CKL exhibits unique challenges that are not addressed in previous CL setups, where parameter expansion is necessary to reliably retain and learn knowledge simultaneously. By highlighting the critical causes of knowledge forgetting, we show that CKL is a challenging and important problem that helps us better understand and train ever-changing LMs. The benchmark datasets, model checkpoints, and code to reproduce our results are available at this https URL.
대규모 언어 모델(LMs)은 방대한 양의 웹 코퍼스를 사전 학습하기 때문에 매개변수에 세계 지식을 인코딩하는 것으로 알려져 있으며, 이는 question answering, fact-checking, open dialogue 등 지식에 의존하는 다운스트림 작업을 수행하는 데 자주 활용됩니다. 실제 시나리오에서는 세계가 변화함에 따라 LMs에 저장된 세계 지식이 빠르게 낙후될 수 있지만, catastrophic forgetting을 피하고 불변 지식을 보존하면서 새로운 지식을 안정적으로 습득하는 것은 간단하지 않습니다. 이 커뮤니티가 끊임없이 변화하는 LMs을 더 잘 관리할 수 있도록, 우리는 Continual Knowledge Learning (CKL)이라는 새로운 지속적 학습(CL) 문제를 공식화합니다. 우리는 시간에 변하지 않는 세계 지식의 유지, 오래된 지식의 업데이트, 새로운 지식의 습득을 정량화하기 위해 새로운 벤치마크와 메트릭을 구축합니다. 우리는 문헌에서 적용 가능한 최근의 방법을 채택하여 여러 가지 강력한 기준선을 만들었습니다. 광범위한 실험을 통해 CKL은 매개변수 확장이 필요한 이전 CL 설정에서는 다루지 못했던 고유한 과제를 보여주며, 지식을 동시에 안정적으로 유지하고 학습하는 데 필요합니다. 지식 망각의 중요한 원인을 강조함으로써 CKL은 끊임없이 변화하는 LMs을 더 잘 이해하고 훈련하는 데 도움이 되는 도전적이고 중요한 문제임을 보여줍니다. 벤치마크 데이터 세트, 모델 체크포인트, 결과 재현을 위한 코드는 이 https URL에서 확인할 수 있습니다.
대규모 언어 모델(LM)은 방대한 양의 웹 코퍼스를 사전 학습하기 때문에 매개변수에 세계 지식을 인코딩하는 것으로 알려져 있으며, 이는 질문 답변, 사실 확인, 오픈 대화 등 지식에 의존하는 다운스트림 작업을 수행하는 데 자주 활용됩니다. 실제 시나리오에서는 세계가 변화함에 따라 LM에 저장된 세계 지식이 빠르게 낙후될 수 있지만, 파국적 망각을 피하고 불변 지식을 보존하면서 새로운 지식을 안정적으로 습득하는 것은 간단하지 않습니다. 이 커뮤니티가 끊임없이 변화하는 LM을 더 잘 관리할 수 있도록, 우리는 지속적 지식 학습(CKL)이라는 새로운 지속적 학습(CL) 문제를 공식화합니다. 우리는 시간에 변하지 않는 세계 지식의 유지, 오래된 지식의 업데이트, 새로운 지식의 습득을 정량화하기 위해 새로운 벤치마크와 메트릭을 구축합니다. 우리는 문헌에서 적용 가능한 최근의 방법을 채택하여 여러 가지 강력한 기준선을 만들었습니다. 광범위한 실험을 통해 CKL은 매개변수 확장이 필요한 이전 CL 설정에서는 다루지 못했던 고유한 과제를 보여주며, 지식을 동시에 안정적으로 유지하고 학습하는 데 필요합니다. 지식 망각의 중요한 원인을 강조함으로써 CKL은 끊임없이 변화하는 LM을 더 잘 이해하고 훈련하는 데 도움이 되는 도전적이고 중요한 문제임을 보여줍니다. 벤치마크 데이터 세트, 모델 체크포인트, 결과 재현을 위한 코드는 이 https URL에서 확인할 수 있습니다.