Measuring Update of Outdated World KnowledgeIn this work, we define _outdated_ world knowledge as information that is conflicting between \(D_{0}\) and \(D_{1}\). For example, the President of the US may be _Barack Obama_ in \(D_{0}\) and _Joe Biden_ in \(D_{1}\). In this case, the LM should update its internal knowledge as _Joe Biden_ as the US president. If an LM is pretrained on both \(D_{0}\) and \(D_{1}\) simultaneously, there is no guarantee that the LM will acquire the correct, recent information from \(D_{1}\), especially in cases where \(D_{0}\) is much bigger than \(D_{1}\), which is one of the biggest difference between the CKL and traditional CL setting. For measuring _update_ of outdated information, we construct UpdatedLAMA which is made up of cloze statements for which answers can be found in both \(D_{0}\) and \(D_{1}\), but are conflicting.
구형 세계 지식의 업데이트 측정이 작업에서는 _구형_ 세계 지식을 \(D_{0}\)와 \(D_{1}\) 사이에서 충돌하는 정보로 정의합니다. 예를 들어, 미국 대통령은 \(D_{0}\)에서 _버락 오바마_이고 \(D_{1}\)에서 _조 바이든_일 수 있습니다. 이 경우 LM은 미국 대통령으로서 _조 바이든_을 내부 지식으로 업데이트해야 합니다. LM이 \(D_{0}\)와 \(D_{1}\)를 동시에 모두 pretrain하는 경우, 특히 \(D_{0}\)가 \(D_{1}\)보다 훨씬 큰 경우, LM이 \(D_{1}\)에서 올바른 최신 정보를 습득할 것이라는 보장이 없습니다. 이는 CKL과 기존 CL 설정의 가장 큰 차이점 중 하나입니다. 오래된 정보의 _update_를 측정하기 위해, 우리는 \(D_{0}\)와 \(D_{1}\) 모두에서 답을 찾을 수 있지만 충돌하는 cloze 문장으로 구성된 UpdatedLAMA를 구성합니다.
구형 세계 지식의 업데이트 측정이 작업에서는 _구형_ 세계 지식을 \(D_{0}\)와 \(D_{1}\) 사이에서 충돌하는 정보로 정의합니다. 예를 들어, 미국 대통령은 \(D_{0}\)에서 _버락 오바마_이고 \(D_{1}\)에서 _조 바이든_일 수 있습니다. 이 경우 LM은 미국 대통령으로서 _조 바이든_을 내부 지식으로 업데이트해야 합니다. LM이 \(D_{0}\)와 \(D_{1}\)를 동시에 모두 사전 학습하는 경우, 특히 \(D_{0}\)가 \(D_{1}\)보다 훨씬 큰 경우, LM이 \(D_{1}\)에서 올바른 최신 정보를 습득할 것이라는 보장이 없습니다. 이는 CKL과 기존 CL 설정의 가장 큰 차이점 중 하나입니다. 오래된 정보의 _업데이트_를 측정하기 위해, 우리는 \(D_{0}\)와 \(D_{1}\) 모두에서 답을 찾을 수 있지만 충돌하는 클로즈 문장으로 구성된 UpdatedLAMA를 구성합니다.