Figure 5 reports the validation loss during continual pre-training of 405M parameter models for weak (top) and strong (bottom) shifts. Table 3 reports the average (over the last 100 iterations) final loss value for these models. Since the transition from English to German represents a starker distribution shift than Pile to SlimPajama, training on German leads to significantly more forgetting on Pile (\(\mathcal{D}_{0}\)) for the continually pre-trained model without replay (0.27 vs 1.39 for weak and strong shifts respectively). However, choosing 25% replay to handle the starker shift significantly reduces the amount of forgetting on Pile, a reduction of 1.23 in terms of final loss. When comparing continually pre-trained models to baselines trained exclusively on \(\mathcal{D}_{1}\), we observe that the continually pre-trained models always have lower validation loss across both distribution shifts. When comparing the continually pre-trained models with the \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) baselines we find that both models achieve nearly identical (weak shift) or identical (strong shift) average final validation losses. This shows that for strong and weak distribution shifts, a simple and scalable combination of LR re-warming, LR re-decaying, and replay can achieve similar performance to the \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) baseline.
그림 5는 약한 shift(위)와 강한 shift(아래)에 대해 405M 파라미터 모델의 지속적인 사전 학습 중 validation loss를 보고합니다. 표 3은 이러한 모델의 평균(마지막 100회 반복) 최종 loss 값을 보고합니다. 영어에서 독일어로 전환하는 것은 Pile에서 SlimPajama로 전환하는 것보다 더 뚜렷한 분포 이동을 나타내므로, 독일어로 훈련하면 계속적으로 사전 훈련된 모델에서 재생이 없는 Pile(\(\mathcal{D}_{0}\))에 대해 훨씬 더 많은 잊어버림이 발생합니다(약한 shift와 강한 shift의 경우 각각 0.27 대 1.39). 그러나 더 뚜렷한 shift를 처리하기 위해 25% replay를 선택하면 최종 loss 측면에서 1.23이 감소하여 Pile에 대한 잊어버림의 양이 크게 줄어듭니다. 계속 사전 학습된 모델을 \(\mathcal{D}_{1}\)에서만 학습된 baseline과 비교하면, 계속 사전 학습된 모델이 두 분포 이동 모두에서 항상 더 낮은 validation loss를 갖는다는 것을 관찰할 수 있습니다. 계속 사전 학습된 모델을 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) baseline과 비교하면 두 모델 모두 거의 동일한(약한 shift) 또는 동일한(강한 shift) 평균 최종 validation loss를 달성한다는 것을 알 수 있습니다. 이는 강한 분포 이동과 약한 분포 이동의 경우, 간단하고 확장 가능한 Learning Rate 재가열, Learning Rate 재감소 및 replay의 조합으로 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) baseline과 유사한 성능을 달성할 수 있음을 보여줍니다.
그림 5는 약한 시프트(위)와 강한 시프트(아래)에 대해 405M 파라미터 모델의 지속적인 사전 학습 중 검증 손실을 보고합니다. 표 3은 이러한 모델의 평균(마지막 100회 반복) 최종 손실 값을 보고합니다. 영어에서 독일어로 전환하는 것은 Pile에서 SlimPajama로 전환하는 것보다 더 뚜렷한 분포 이동을 나타내므로, 독일어로 훈련하면 계속적으로 사전 훈련된 모델에서 재생이 없는 Pile(\(\mathcal{D}_{0}\))에 대해 훨씬 더 많은 잊어버림이 발생합니다(약한 시프트와 강한 시프트의 경우 각각 0.27 대 1.39). 그러나 더 뚜렷한 시프트를 처리하기 위해 25% 리플레이를 선택하면 최종 손실 측면에서 1.23이 감소하여 Pile에 대한 잊어버림의 양이 크게 줄어듭니다. 계속 사전 학습된 모델을 $\mathcal{D}_{1}\)에서만 학습된 베이스라인과 비교하면, 계속 사전 학습된 모델이 두 분포 이동 모두에서 항상 더 낮은 유효성 검사 손실을 갖는다는 것을 관찰할 수 있습니다. 계속 사전 학습된 모델을 $\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 베이스라인과 비교하면 두 모델 모두 거의 동일한(약한 시프트) 또는 동일한(강한 시프트) 평균 최종 유효성 검사 손실을 달성한다는 것을 알 수 있습니다. 이는 강한 분포 이동과 약한 분포 이동의 경우, 간단하고 확장 가능한 LR 재가열, LR 재감소 및 리플레이의 조합으로 $\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 베이스라인과 유사한 성능을 달성할 수 있음을 보여줍니다.