Table 10 shows the CKL benchmark performance of GPT-2 models. We report the results averaged over 5 runs with different random seeds. As in Table 2, parameter-expansion methods show robust performance on both IL and NQE, resulting in low FUAR. This shows that these methods are not only effective on the encoder-decoder model but also the decoder-only model as well. One interesting result in Table 10 is that GPT2-MixReview performs the best on IL, with performance even higher than the initial model, which results in the best FUAR of 0 which means no forgetting occurred at all. We suppose that the training strategy of GPT2-MixReview, allowing access to samples of \(D_{0}\) during continued pretraining, would have allowed fast adaptation to knowledge from \(D_{0}\) during the _light-tuning_ phase. Performance of GPT2-MixReview suggests that it makes it possible to regain the original knowledge for decoder-only models even with small tuning steps.
표 10은 GPT-2 모델의 CKL 벤치마크 성능을 보여줍니다. 다양한 랜덤 시드를 사용하여 5번의 실행을 평균한 결과를 보고합니다. 표 2에서와 마찬가지로 파라미터 확장 방법은 IL과 NQE 모두에서 강력한 성능을 보여주어 낮은 FUAR을 제공합니다. 이는 이러한 방법이 Encoder-Decoder 모델뿐만 아니라 Decoder 전용 모델에도 효과적이라는 것을 보여줍니다. 표 10에서 한 가지 흥미로운 결과는 GPT2-MixReview가 IL에서 가장 우수한 성능을 보이며, 초기 모델보다 더 높은 성능을 발휘하여 0의 최고 FUAR를 달성하여 잊어버림이 전혀 발생하지 않았다는 것입니다. 우리는 지속적인 사전 학습 중에 \(D_{0}\)의 샘플에 액세스할 수 있는 GPT2-MixReview의 훈련 전략이 _light-tuning_ 단계에서 \(D_{0}\)의 지식에 빠르게 적응할 수 있었을 것이라고 생각합니다. GPT2-MixReview의 성능은 작은 튜닝 단계로도 Decoder 전용 모델에 대해 원래의 지식을 되찾을 수 있음을 시사합니다.
표 10은 GPT-2 모델의 CKL 벤치마크 성능을 보여줍니다. 다양한 랜덤 시드를 사용하여 5번의 실행을 평균한 결과를 보고합니다. 표 2에서와 마찬가지로 파라미터 확장 방법은 IL과 NQE 모두에서 강력한 성능을 보여주어 낮은 FUAR을 제공합니다. 이는 이러한 방법이 인코더-디코더 모델뿐만 아니라 디코더 전용 모델에도 효과적이라는 것을 보여줍니다. 표 10에서 한 가지 흥미로운 결과는 GPT2-MixReview가 IL에서 가장 우수한 성능을 보이며, 초기 모델보다 더 높은 성능을 발휘하여 0의 최고 FUAR를 달성하여 잊어버림이 전혀 발생하지 않았다는 것입니다. 우리는 지속적인 사전 학습 중에 \(D_{0}\)의 샘플에 액세스할 수 있는 GPT2-MixReview의 훈련 전략이 _라이트 튜닝_ 단계에서 \(D_{0}\)의 지식에 빠르게 적응할 수 있었을 것이라고 생각합니다. GPT2-MixReview의 성능은 작은 튜닝 단계로도 디코더 전용 모델에 대해 원래의 지식을 되찾을 수 있음을 시사합니다.