Table 11 shows the CKL benchmark result of GPT-2 models continually pretrained on CC-RecentNews-Small for 8 epochs with a learning rate of 1e-3. By comparing the results in this table with those in Table 10, which is for models continually pretrained with a learning rate of 1e-4, the results in Table 11 shows worse performance on both IL and NQE. Unlike in Appendix E, increasing the learning rate does not result in better learning of new knowledge. Instead, NQE performance is even worse than GPT2-Initial for GPT2-Vanilla, GPT2-Recadam, and GPT2-MixReview. FUAR is _no gain_ for these cases by the definition of the metric because the denominator has the value of zero. This shows that a large learning rate for continual pretraining may lead to failure: neither retaining old knowledge nor acquiring new knowledge effectively. For parameter-expansion methods, because many parameters including the decoder are frozen during the continual training process, they seem to be less prone to the effect of a large learning rate.
표 11은 학습률 1e-3으로 8회 동안 CC-RecentNews-Small에 지속적으로 사전 학습된 GPT-2 모델의 CKL 벤치마크 결과입니다. 이 표의 결과를 학습률 1e-4로 지속적으로 사전 학습된 모델에 대한 표 10의 결과와 비교하면 표 11의 결과는 IL과 NQE 모두에서 더 나쁜 성능을 보여줍니다. 부록 E와 달리 학습률(Learning Rate)을 높이면 새로운 지식을 더 잘 학습하지 못합니다. 대신, NQE 성능은 GPT2-Vanilla, GPT2-Recadam 및 GPT2-MixReview의 경우 GPT2-Initial보다 더 나빠집니다. 이러한 경우 분모에 0이라는 값이 있기 때문에 메트릭의 정의에 따라 FUAR은 '이득 없음'입니다. 이는 지속적 사전 학습을 위한 큰 학습률이 실패로 이어질 수 있음을 보여줍니다. 이전 지식을 유지하거나 새로운 지식을 효과적으로 습득하지 못합니다. 파라미터 확장 방법의 경우, 지속적 학습 과정에서 Decoder를 포함한 많은 파라미터가 동결되기 때문에 큰 학습률의 영향을 덜 받는 것으로 보입니다.
표 11은 학습률 1e-3으로 8회 동안 CC-RecentNews-Small에 지속적으로 사전 학습된 GPT-2 모델의 CKL 벤치마크 결과입니다. 이 표의 결과를 학습률 1e-4로 지속적으로 사전 학습된 모델에 대한 표 10의 결과와 비교하면 표 11의 결과는 IL과 NQE 모두에서 더 나쁜 성능을 보여줍니다. 부록 E와 달리 학습률을 높이면 새로운 지식을 더 잘 학습하지 못합니다. 대신, NQE 성능은 GPT2-Vanilla, GPT2-Recadam 및 GPT2-MixReview의 경우 GPT2-Initial보다 더 나빠집니다. 이러한 경우 분모에 0이라는 값이 있기 때문에 메트릭의 정의에 따라 FUAR은 '이득 없음'입니다. 이는 지속적 사전 학습을 위한 큰 학습률이 실패로 이어질 수 있음을 보여줍니다. 이전 지식을 유지하거나 새로운 지식을 효과적으로 습득하지 못합니다. 파라미터 확장 방법의 경우, 지속적 학습 과정에서 디코더를 포함한 많은 파라미터가 동결되기 때문에 큰 학습률의 영향을 덜 받는 것으로 보입니다.