Despite its importance, the challenge of renewing the internal world knowledge stored in the parameters of LMs is nontrivial and has only been explored in rather specific settings. For example, recent works have proposed to modify specific target knowledge such as individual facts (De Cao et al., 2021; Zhu et al., 2020; Dai et al., 2021). Dhingra et al. (2021) have addressed LMs as temporal knowledge bases by jointly modeling text with its timestamp. But the problem of renewing the world knowledge of LMs in a more general and scalable way, such as through continual pretraining on a corpus with new knowledge, has not been formally formulated or explored by previous works. Moreover, the community lacks a benchmark that can be used to systematically study how the internal knowledge of LMs changes through the training on new information. Lastly, methodologies to effectively renew the knowledge of LMs at scale have yet to be thoroughly explored.
중요성에도 불구하고 LM의 매개변수에 저장된 내부 세계 지식을 갱신하는 과제는 간단하지 않으며, 다소 특정한 설정에서만 연구되고 있습니다. 예를 들어, 최근 연구에서는 개별 사실과 같은 특정 대상 지식을 수정할 것을 제안했습니다(De Cao et al., 2021; Zhu et al., 2020; Dai et al., 2021). Dhingra et al. (2021)은 타임스탬프가 있는 텍스트를 공동으로 모델링하여 LM을 시간적 지식 기반으로 다루었습니다. 그러나 새로운 지식이 포함된 말뭉치에 대한 지속적인 pretraining을 통해 보다 일반적이고 확장 가능한 방식으로 LM의 세계 지식을 갱신하는 문제는 이전 연구에서 공식적으로 공식화되거나 탐구되지 않았습니다. 또한, 새로운 정보에 대한 훈련을 통해 LM의 내부 지식이 어떻게 변화하는지 체계적으로 연구하는 데 사용할 수 있는 벤치마크가 부족합니다. 마지막으로, 규모가 큰 LM의 지식을 효과적으로 갱신하는 방법론은 아직 철저히 탐구되지 않았습니다.
중요성에도 불구하고 LM의 매개변수에 저장된 내부 세계 지식을 갱신하는 과제는 간단하지 않으며, 다소 특정한 설정에서만 연구되고 있습니다. 예를 들어, 최근 연구에서는 개별 사실과 같은 특정 대상 지식을 수정할 것을 제안했습니다(De Cao et al., 2021; Zhu et al., 2020; Dai et al., 2021). Dhingra et al. (2021)은 타임스탬프가 있는 텍스트를 공동으로 모델링하여 LM을 시간적 지식 기반으로 다루었습니다. 그러나 새로운 지식이 포함된 말뭉치에 대한 지속적인 전처리를 통해 보다 일반적이고 확장 가능한 방식으로 LM의 세계 지식을 갱신하는 문제는 이전 연구에서 공식적으로 공식화되거나 탐구되지 않았습니다. 또한, 새로운 정보에 대한 훈련을 통해 LM의 내부 지식이 어떻게 변화하는지 체계적으로 연구하는 데 사용할 수 있는 벤치마크가 부족합니다. 마지막으로, 규모가 큰 LM의 지식을 효과적으로 갱신하는 방법론은 아직 철저히 탐구되지 않았습니다.