Measuring Retention of Time-invariant World KnowledgeWe define _time-invariant_ world knowledge as the information present in \(D_{0}\) that has no possibility of conflicting with information from \(D_{1}\). For example, if the information of the _birthplace of Barack Obama_ is present in \(D_{0}\), it is unlikely that \(D_{1}\) contains information that contradicts that fact. Also, we classify instances where the time-stamps are fixed such as "_Cristiano Ronaldo played for_. _in 2010_." as _time-invariant_. These _time-invariant_ instances should not be changed as LMs are continually pretrained on \(D_{1}\). In order to measure how much _time-invariant_ information is lost due to _catastrophic forgetting_ during continued pretraining, we create InvariantLAMA, a subset of LAMA (Petroni et al., 2019), consisting of only _time-invariant_ cloze sentences detailed in Appendix B.1.
시간 불변의 세계 지식의 유지 측정. _Time-invariant_ 세계 지식은 \(D_{0}\)에 존재하는 정보 중 \(D_{1}\)의 정보와 충돌할 가능성이 없는 정보로 정의합니다. 예를 들어, _버락 오바마의 출생지_에 대한 정보가 \(D_{0}\)에 있는 경우, \(D_{1}\)에 해당 사실과 모순되는 정보가 포함될 가능성은 거의 없습니다. 또한, '_크리스티아누 호날두가 2010년에 _에서 뛰었다_.'와 같이 타임스탬프가 고정된 인스턴스를 _time-invariant_으로 분류합니다. 이러한 _time-invariant_ 인스턴스는 LMs이 \(D_{1}\)에 대해 지속적으로 사전 학습되므로 변경되어서는 안 됩니다. 지속적인 사전 학습 중에 _catastrophic forgetting_으로 인해 _time-invariant_ 정보가 얼마나 손실되는지 측정하기 위해, 부록 B.1에 자세히 설명된 _time-invariant_ cloze 문장으로만 구성된 LAMA(Petroni et al., 2019)의 하위 집합인 InvariantLAMA를 생성합니다.
시간 불변의 세계 지식의 유지 측정시간 불변_ 세계 지식은 \(D_{0}\)에 존재하는 정보 중 \(D_{1}\)의 정보와 충돌할 가능성이 없는 정보로 정의합니다. 예를 들어, _버락 오바마의 출생지_에 대한 정보가 \(D_{0}\)에 있는 경우, \(D_{1}\)에 해당 사실과 모순되는 정보가 포함될 가능성은 거의 없습니다. 또한, '_크리스티아누 호날두가 2010년에 _에서 뛰었다_.'와 같이 타임스탬프가 고정된 인스턴스를 _시간 불변_으로 분류합니다. 이러한 '시간 불변' 인스턴스는 LM이 \(D_{1}\)에 대해 지속적으로 사전 학습되므로 변경되어서는 안 됩니다. 지속적인 사전 학습 중에 _재앙적 망각_으로 인해 _시간 불변_ 정보가 얼마나 손실되는지 측정하기 위해, 부록 B.1에 자세히 설명된 _시간 불변_ 클로즈 문장으로만 구성된 LAMA(Petroni et al., 2019)의 하위 집합인 InvariantLAMA를 생성합니다.