Table 2 shows our main experimental result on the CKL benchmark. While only the exact match (EM) is reported in Table 2, we report the F1 score as well as the mean precision at k (_P@k_, k=1,5,10,20,50,100) in Appendix J. The T5 models are originally pretrained on C4 (about 1 trillion token updates) and Wikipedia, which is considered as \(D_{0}\).7, and then continually pretrained on CC-RecentNews (corpus \(D_{1}\)) for 4 epochs (25k global training steps, about 673 million token updates) using each of the CKL methods. Each of IL, UL, NL, NLE stands for InvariantLAMA, UpdatedLAMA, NewLAMA, and NewLAMA-Easy, respectively. Detailed descriptions about the setup for this experiment are included in the caption.
표 2는 CKL 벤치마크에 대한 주요 실험 결과를 보여줍니다. 표 2에는 정확도(EM)만 보고되었지만, 부록 J에는 F1 점수와 k(_P@k_, k=1,5,10,20,50,100)에서의 평균 정밀도도 보고되어 있습니다. T5 모델은 원래 C4(약 1조 token updates)와 Wikipedia에 대해 사전 학습한 후, \(D_{0}\)로 간주됩니다.7)에 대해 사전 학습한 다음, 각 CKL 방법을 사용하여 4회(25,000회 전역 학습 단계, 약 6억 7,300만 token updates) 동안 CC-RecentNews(corpus \(D_{1}\))에 대해 지속적으로 사전 학습합니다. IL, UL, NL, NLE는 각각 InvariantLAMA, UpdatedLAMA, NewLAMA 및 NewLAMA-Easy를 나타냅니다. 이 실험에 대한 설정에 대한 자세한 설명은 캡션에 포함되어 있습니다.
표 2는 CKL 벤치마크에 대한 주요 실험 결과를 보여줍니다. 표 2에는 정확도(EM)만 보고되었지만, 부록 J에는 F1 점수와 k(_P@k_, k=1,5,10,20,50,100)에서의 평균 정밀도도 보고되어 있습니다. T5 모델은 원래 C4(약 1조 토큰 업데이트)와 위키피디아에 대해 사전 학습한 후, \(D_{0}\)로 간주됩니다.7)에 대해 사전 학습한 다음, 각 CKL 방법을 사용하여 4회(25,000회 전역 학습 단계, 약 6억 7,300만 토큰 업데이트) 동안 CC-RecentNews(코퍼스 \(D_{1}\))에 대해 지속적으로 사전 학습합니다. IL, UL, NL, NLE는 각각 InvariantLAMA, UpdatedLAMA, NewLAMA 및 NewLAMA-Easy를 나타냅니다. 이 실험에 대한 설정에 대한 자세한 설명은 캡션에 포함되어 있습니다.