Lazaridou et al. (2021); Jin et al. (2021) suggests implementing prior Continual Learning (CL) methods (Sun et al., 2020; d'Autume et al., 2019) to address this problem. However, it is important to note that there are nontrivial differences between traditional CL and the proposed Continual Knowledge Learning (CKL) formulation which make applying traditional CL methods inadequate. In traditional CL, methods can be largely categorized into _regularization_, _rehearsal_, and _parameter-expansion_ methods. (1) While regularization methods (Kirkpatrick et al., 2017) require identifying important parameters used for previous tasks, exactly how and where the knowledge is stored in the parameters of an LM is currently extremely difficult to identify and localize (Vig et al., 2020; De Cao et al., 2021). (2) While prior rehearsal methods (Lopez-Paz and Ranzato, 2017) consider learning all of the streams of tasks at once (multi-task learning) as the performance upper-bound and replicate such a setting with samples stored in the episodic memory, a few samples from the pretraining corpus cannot represent the overall world knowledge from the corpus. Moreover, if LMs are pretrained on a shuffled concatenation of stream of corpora, there is no guarantee that the LMs will acquire the correct, recent information from the recent corpora, especially in cases where the former corpora are much bigger than the latter ones, which is shown by experiments in Section 5.1. (3) Lastly, prior parameter-expansion methods (Rusu et al., 2016; Yoon et al., 2018) focus on _learning a stream of different tasks via strong supervision_, while in CKL, the focus is _constantly updating world knowledge from a stream of corpora via self-supervision_.
Lazaridou 등(2021); Jin 등(2021)은 이 문제를 해결하기 위해 사전 Continual Learning (CL) 방법(Sun 등, 2020; d'Autume 등, 2019)을 구현할 것을 제안합니다. 그러나 기존 CL과 제안된 Continual Knowledge Learning (CKL) 공식 사이에는 사소하지 않은 차이가 있으며, 이로 인해 기존 CL 방법을 적용하는 것이 부적절하다는 점에 유의하는 것이 중요합니다. 기존 CL에서 방법은 크게 _regularization_, _rehearsal_, _parameter-expansion_ 방법으로 분류할 수 있습니다. (1) Regularization 방법(Kirkpatrick et al., 2017)은 이전 작업에 사용된 중요한 매개변수를 식별해야 하는데, 현재 LM의 매개변수에 지식이 어떻게, 어디에 저장되는지는 식별 및 로컬라이징하기가 매우 어렵습니다(Vig et al., 2020; De Cao et al., 2021). (2) 이전 Rehearsal 방법(Lopez-Paz and Ranzato, 2017)은 모든 작업 스트림을 한 번에 학습하는 것을 성능 상한으로 간주하고 에피소드 메모리에 저장된 샘플로 이러한 설정을 복제하지만, 사전 학습 코퍼스의 몇 가지 샘플은 코퍼스의 전반적인 세계 지식을 나타낼 수 없습니다. 또한 LM이 스트림의 코퍼스를 섞어서 사전 학습하는 경우, 특히 이전 코퍼스가 후자의 코퍼스보다 훨씬 큰 경우, 섹션 5.1의 실험에서 볼 수 있듯이 LM이 최근 코퍼스에서 올바른 최근 정보를 습득할 것이라는 보장이 없습니다. (3) 마지막으로, 이전 Parameter-expansion 방법(Rusu et al., 2016; Yoon et al., 2018)은 _강력한 감독을 통해 다양한 작업의 스트림을 학습하는 데 중점을 두는 반면, CKL에서는 _self-supervision을 통해 코퍼스 스트림에서 세계 지식을 지속적으로 업데이트하는 데 중점을 둡니다.
Lazaridou 등(2021); Jin 등(2021)은 이 문제를 해결하기 위해 사전 연속 학습(CL) 방법(Sun 등, 2020; d'Autume 등, 2019)을 구현할 것을 제안합니다. 그러나 기존 CL과 제안된 지속적 지식 학습(CKL) 공식 사이에는 사소하지 않은 차이가 있으며, 이로 인해 기존 CL 방법을 적용하는 것이 부적절하다는 점에 유의하는 것이 중요합니다. 기존 CL에서 방법은 크게 _정규화_, _리허설_, _매개변수 확장_ 방법으로 분류할 수 있습니다. (1) 정규화 방법(Kirkpatrick et al., 2017)은 이전 작업에 사용된 중요한 매개변수를 식별해야 하는데, 현재 LM의 매개변수에 지식이 어떻게, 어디에 저장되는지는 식별 및 로컬라이징하기가 매우 어렵습니다(Vig et al., 2020; De Cao et al., 2021). (2) 이전 리허설 방법(Lopez-Paz and Ranzato, 2017)은 모든 작업 스트림을 한 번에 학습하는 것을 성능 상한으로 간주하고 에피소드 메모리에 저장된 샘플로 이러한 설정을 복제하지만, 사전 학습 코퍼스의 몇 가지 샘플은 코퍼스의 전반적인 세계 지식을 나타낼 수 없습니다. 또한 LM이 스트림의 코퍼스를 섞어서 사전 학습하는 경우, 특히 이전 코퍼스가 후자의 코퍼스보다 훨씬 큰 경우, 섹션 5.1의 실험에서 볼 수 있듯이 LM이 최근 코퍼스에서 올바른 최근 정보를 습득할 것이라는 보장이 없습니다. (3) 마지막으로, 이전 매개변수 확장 방법(Rusu et al., 2016; Yoon et al., 2018)은 _강력한 감독을 통해 다양한 작업의 스트림을 학습하는 데 중점을 두는 반면, CKL에서는 _자기 감독을 통해 코퍼스 스트림에서 세계 지식을 지속적으로 업데이트하는 데 중점을 둡니다.