In addition to the CKL benchmark, we also show in Table 8 the performance on the dev set of KILT (Petroni et al., 2021) after finetuning each of the continually pretrained models of Table 2. Since KILT is made from Wikipedia, which corresponds to the old pretraining corpus \(D_{0}\), the performance on KILT measures how continual pretraining on new corpus \(D_{1}\) affects the performance on the knowledge obtained from \(D_{0}\) if finetuning is done on behalf of the knowledge from \(D_{0}\).
CKL 벤치마크 외에도 표 8에는 표 2의 연속적으로 사전 학습된 각 모델을 Fine-tuning한 후 KILT(Petroni et al., 2021)의 개발 세트에 대한 성능도 표시되어 있습니다. KILT는 이전의 사전 학습 코퍼스 \(D_{0}\)에 해당하는 Wikipedia로 만들어졌기 때문에, KILT에 대한 성능은 \(D_{0}\)의 지식을 대신하여 Fine-tuning하는 경우 새로운 코퍼스 \(D_{1}\)에 대한 지속적인 사전 학습이 \(D_{0}\)에서 얻은 지식에 대한 성능에 어떤 영향을 미치는지를 측정합니다.
CKL 벤치마크 외에도 표 8에는 표 2의 연속적으로 사전 학습된 각 모델을 미세 조정한 후 KILT(Petroni et al., 2021)의 개발 세트에 대한 성능도 표시되어 있습니다. KILT는 이전의 사전 학습 코퍼스 \(D_{0}\)에 해당하는 Wikipedia로 만들어졌기 때문에, KILT에 대한 성능은 \(D_{0}\)의 지식을 대신하여 미세 조정하는 경우 새로운 코퍼스 \(D_{1}\)에 대한 지속적인 사전 학습이 \(D_{0}\)에서 얻은 지식에 대한 성능에 어떤 영향을 미치는지를 측정합니다.