Comparing the performance on IL of the two scenarios, Small and Small-P1\(\rightarrow\)Small-P2, results show that LMs are prone to more forgetting as they go through multiple CKL phases, despite having the same number of training steps. One of the reasons may be due to the learning rate scheduling, which is initialized at the start of each phase.
두 시나리오의 IL 성능을 비교하면, Small과 Small-P1\(\rightarrow\)Small-P2의 경우, 동일한 횟수의 훈련 단계를 거쳤음에도 불구하고 LMs은 여러 번의 CKL 단계를 거치면서 더 많은 잊어버림에 걸리기 쉽다는 결과가 나타났습니다. 그 이유 중 하나는 각 단계의 시작 시 초기화되는 Learning Rate 스케줄링 때문일 수 있습니다.
두 시나리오의 IL 성능을 비교하면, Small과 Small-P1\(\우측 대각선\)Small-P2의 경우, 동일한 횟수의 훈련 단계를 거쳤음에도 불구하고 LM은 여러 번의 CKL 단계를 거치면서 더 많은 잊어버림에 걸리기 쉽다는 결과가 나타났습니다. 그 이유 중 하나는 각 단계의 시작 시 초기화되는 학습 속도 스케줄링 때문일 수 있습니다.