Measuring Acquisition of New World KnowledgeWe define _new_ world knowledge as the information present in \(D_{1}\), but not in \(D_{0}\). To measure _new_ knowledge acquired through continued pretraining on \(D_{1}\), we construct NewLAMA which is made up of detailed cloze statements requiring _new_ knowledge from \(D_{1}\) to correctly answer. We provide two datasets for measuring _new world knowledge_: NewLAMA, for which each of the instances is verified that the answer does not exist in \(D_{0}\), but only in \(D_{1}\), and NewLAMA-Easy for which each of the instances does not perfectly comply with our strict definition of _new_ world knowledge due to its creation process, but is used to generally measure the new knowledge acquired from continued pretraining on \(D_{1}\) at a larger scale.
새로운 세계 지식의 획득 측정

우리는 새로운 세계 지식을 \(D_{1}\)에는 존재하지만 \(D_{0}\)에는 존재하지 않는 정보로 정의합니다. \(D_{1}\)에 대한 지속적인 사전 학습을 통해 획득한 새로운 지식을 측정하기 위해, 우리는 \(D_{1}\)에서 요구되는 새로운 지식을 정확히 답하기 위해 필요한 상세한 클로즈 문장들로 구성된 NewLAMA를 구성합니다. 우리는 새로운 세계 지식을 측정하기 위해 두 개의 데이터셋을 제공합니다: 각 인스턴스가 \(D_{0}\)에는 존재하지 않고 \(D_{1}\)에만 존재하는 답을 가지고 있음을 검증한 NewLAMA와, 생성 과정으로 인해 우리의 엄격한 새로운 세계 지식 정의에 완벽히 부합하지는 않지만, \(D_{1}\)에 대한 지속적인 사전 학습을 통해 획득한 새로운 지식을 더 큰 규모로 일반적으로 측정하는 데 사용되는 NewLAMA-Easy입니다.
새로운 세계 지식의 습득 측정새로운 세계 지식은 \(D_{1}\)에 존재하지만 \(D_{0}\)에는 존재하지 않는 정보로 정의합니다. D_{1}\)에 대한 지속적인 사전 학습을 통해 습득한 _새로운_ 지식을 측정하기 위해, 정답을 맞히기 위해 \(D_{1}\)의 _새로운_ 지식이 필요한 세부적인 클로즈 문장으로 구성된 NewLAMA를 구성합니다. 우리는 _새로운 세계 지식_을 측정하기 위해 두 가지 데이터 세트를 제공합니다: 각 인스턴스가 \(D_{0}\)에는 답이 존재하지 않지만 \(D_{1}\)에만 존재한다는 것이 검증된 NewLAMA와, 생성 과정으로 인해 각 인스턴스가 _새로운_ 세계 지식에 대한 엄격한 정의를 완벽하게 준수하지는 않지만, 일반적으로 \(D_{1}\)에 대한 지속적인 사전 학습을 통해 습득한 새로운 지식을 더 큰 규모로 측정하는 데 사용되는 NewLAMA-Easy가 그것입니다.