Even though these implicit methods are efficient methods of injecting or modifying knowledge from the implicit parameters of the LMs, they are all limited to injecting _specific knowledge_ such as the case of (Wang et al., 2021) or modifying _past knowledge_ such as the case of (Zhu et al., 2020; De Cao et al., 2021). No work, to the best of our knowledge, has specifically addressed the _catastrophic forgetting_ of world knowledge gained from the initial pretraining when continued pretraining on new text corpus for the gain of _new_ world knowledge.
이러한 암묵적 방법은 LMs의 암묵적 파라미터에서 지식을 주입하거나 수정하는 효율적인 방법이지만, 모두 (Wang et al., 2021)의 경우와 같이 _specific knowledge_를 주입하거나 (Zhu et al., 2020; De Cao et al., 2021)의 경우와 같이 _past knowledge_를 수정하는 것으로 제한됩니다. 새로운 텍스트 코퍼스에 대한 지속적인 pretraining을 통해 _new_ 세계 지식을 얻을 때 초기 pretraining에서 얻은 세계 지식의 _catastrophic forgetting_을 구체적으로 다룬 연구는 아직 없습니다.
이러한 암묵적 방법은 LM의 암묵적 파라미터에서 지식을 주입하거나 수정하는 효율적인 방법이지만, 모두 (Wang et al., 2021)의 경우와 같이 _특정 지식_을 주입하거나 (Zhu et al., 2020; De Cao et al., 2021)의 경우와 같이 _과거 지식_을 수정하는 것으로 제한됩니다. 새로운 텍스트 코퍼스에 대한 지속적인 사전 학습을 통해 _새로운_ 세계 지식을 얻을 때 초기 사전 학습에서 얻은 세계 지식의 _재앙적 망각_을 구체적으로 다룬 연구는 아직 없습니다.