**Effects of Epochs, Corpus Size, and Total Number of Training Steps in CKL on Forgetting** Figure 3 shows the result of T5-Vanilla and T5-Kadapters during continued pretraining in different scenarios from Table 2 and 3, where each point in the graph represents the performance of IL after every epoch. Comparing Main (4 epochs) and Small (8 epochs) in Figure 3 (a) T5-Vanilla, we can see that more forgetting occurs in Small, even though trained for five times less number of global training steps. This phenomenon is further highlighted when comparing results from Small-P1 (8 epochs) which shows the most amount of forgetting despite being trained for ten times less number of global training steps. While the overall drop is much mitigated in Figure 3 (b) T5-Kadapters, we observe the same trend between each scenario which goes to show how critical observing the same data repeatedly during continued pretraining is for causing forgetting.
**CKL에서 Epochs, Corpus Size 및 총 Training Steps 수가 잊어버림에 미치는 영향** 그림 3은 표 2와 3의 다양한 시나리오에서 지속적인 사전 학습 중 T5-Vanilla와 T5-Kadapters의 결과를 보여 주며, 그래프의 각 점은 모든 epoch마다 IL의 성능을 나타냅니다. 그림 3 (a) T5-Vanilla의 Main(4 epochs)과 Small(8 epochs)을 비교하면, global training steps 수가 5배 적은 횟수로 훈련되었음에도 불구하고 Small에서 더 많은 잊어버림이 발생하는 것을 볼 수 있습니다. 이러한 현상은 global training steps 수가 10배 적은 횟수로 훈련되었음에도 불구하고 가장 많은 양의 잊어버림을 보여주는 Small-P1(8 epochs)의 결과를 비교할 때 더욱 부각됩니다. 그림 3 (b) T5-Kadapters에서는 전체적인 하락이 훨씬 완화되었지만, 지속적인 사전 학습 중에 동일한 데이터를 반복적으로 관찰하는 것이 잊어버림을 유발하는 데 얼마나 중요한지 보여주는 각 시나리오 간의 동일한 추세를 관찰할 수 있습니다.
**CKL에서 에포크, 코퍼스 크기 및 총 훈련 단계 수가 잊어버림에 미치는 영향** 그림 3은 표 2와 3의 다양한 시나리오에서 지속적인 사전 학습 중 T5-Vanilla와 T5-K어댑터의 결과를 보여 주며, 그래프의 각 점은 모든 에포크마다 IL의 성능을 나타냅니다. 그림 3 (a) T5-Vanilla의 Main(4에포크)과 Small(8에포크)을 비교하면, 전역 훈련 단계 수가 5배 적은 횟수로 훈련되었음에도 불구하고 Small에서 더 많은 잊어버림이 발생하는 것을 볼 수 있습니다. 이러한 현상은 전역 훈련 단계 수가 10배 적은 횟수로 훈련되었음에도 불구하고 가장 많은 양의 잊어버림을 보여주는 Small-P1(8에포크)의 결과를 비교할 때 더욱 부각됩니다. 그림 3 (b) T5-K어댑터에서는 전체적인 하락이 훨씬 완화되었지만, 지속적인 사전 학습 중에 동일한 데이터를 반복적으로 관찰하는 것이 잊어버림을 유발하는 데 얼마나 중요한지 보여주는 각 시나리오 간의 동일한 추세를 관찰할 수 있습니다.