In this section, we first show the main experimental results for the CKL Benchmark. Then, since multiple steps of continual knowledge learning, i.e., CKL are needed for training a true, ever-changing LM, we explore the effects of multiple CKL phases as well as how epochs, corpus size, and the total number of training steps affect CKL. We further explore how learning rates affect CKL in Appendix E, how continual pretraining on \(D_{1}\) affects the performance of KILT tasks which re quire knowledge from \(D_{0}\) in Appendix F, how CKL methods transfer across LM architectures in Appendix G, and how the prediction outputs change during CKL in Appendix H.
이 섹션에서는 먼저 CKL 벤치마크에 대한 주요 실험 결과를 보여줍니다. 그런 다음, 진정한 변화하는 LM을 훈련하기 위해서는 연속적인 지식 학습의 여러 단계, 즉 CKL이 필요하므로 여러 CKL 단계의 효과와 epochs, corpus size 및 총 훈련 단계 수가 CKL에 미치는 영향을 살펴봅니다. 또한 learning rates가 CKL에 미치는 영향은 부록 E, \(D_{1}\)에서의 지속적 사전 학습이 \(D_{0}\)에서의 지식을 필요로 하는 KILT 작업의 성능에 미치는 영향은 부록 F, 부록 G에서 LM 아키텍처 전반에 걸쳐 CKL 방법이 어떻게 전송되는지, 부록 H에서 CKL 중 예측 출력이 어떻게 변하는지 살펴봅니다.
이 섹션에서는 먼저 CKL 벤치마크에 대한 주요 실험 결과를 보여줍니다. 그런 다음, 진정한 변화하는 LM을 훈련하기 위해서는 연속적인 지식 학습의 여러 단계, 즉 CKL이 필요하므로 여러 CKL 단계의 효과와 에포크, 코퍼스 크기 및 총 훈련 단계 수가 CKL에 미치는 영향을 살펴봅니다. 또한 학습 속도가 CKL에 미치는 영향은 부록 E, D_{1}\에서의 지속적 사전 학습이 D_{0}\에서의 지식을 필요로 하는 KILT 작업의 성능에 미치는 영향은 부록 F, 부록 G에서 LM 아키텍처 전반에 걸쳐 CKL 방법이 어떻게 전송되는지, 부록 H에서 CKL 중 예측 출력이 어떻게 변하는지 살펴봅니다.