In this paper, we propose Continual Knowledge Learning (CKL), where we establish benchmark datasets and metrics, and explore methodologies towards continual knowledge learning of an ever-changing LM. We find that parameter-expansion methods show the most robust performance throughout all of the experimental settings, which nevertheless has severe memory inefficiency and that seeing the same data often is a critical cause of forgetting. We also discuss several other interesting results of which we leave further exploration to future studies. To this end, we suggest the community to explore CKL for the better design of an ever-changing LM.
이 백서에서는 벤치마크 데이터 세트와 메트릭을 구축하고 끊임없이 변화하는 LM의 지속적인 지식 학습을 향한 방법론을 탐구하는 Continual Knowledge Learning (CKL)을 제안합니다. 실험 설정 전반에서 parameter-expansion 방법이 가장 강력한 성능을 보이는 것으로 나타났지만, 이 방법은 메모리 비효율성이 심각하고 동일한 데이터를 자주 보는 것이 망각의 주요 원인임을 발견했습니다. 또한 향후 연구에 추가적인 탐구를 맡기는 몇 가지 다른 흥미로운 결과에 대해서도 논의합니다. 이를 위해 저자는 지속적으로 변화하는 LM의 더 나은 설계를 위해 CKL을 탐구할 것을 제안합니다.
이 백서에서는 벤치마크 데이터 세트와 메트릭을 구축하고 끊임없이 변화하는 LM의 지속적인 지식 학습을 향한 방법론을 탐구하는 지속적인 지식 학습(CKL)을 제안합니다. 실험 설정 전반에서 파라미터 확장 방법이 가장 강력한 성능을 보이는 것으로 나타났지만, 이 방법은 메모리 비효율성이 심각하고 동일한 데이터를 자주 보는 것이 망각의 주요 원인임을 발견했습니다. 또한 향후 연구에 추가적인 탐구를 맡기는 몇 가지 다른 흥미로운 결과에 대해서도 논의합니다. 이를 위해 저자는 지속적으로 변화하는 LM의 더 나은 설계를 위해 CKL을 탐구할 것을 제안합니다.