Figure 4: **The effect of replay at 405M scale for weak and strong distribution shifts.** We report Pile validation loss (left) and SlimPajama/German validation (right top/bottom) during training. Each model is trained from a checkpoint pre-trained on 300B tokens of Pile. The blue dotted line reports the final validation loss for models trained on Pile\(\cup\)SlimPajama or Pile\(\cup\)German data, totaling 600B and 500B tokens datasets respectively. We observe that replay significantly reduces forgetting across both shifts, however, the stronger shift requires more replay to mitigate forgetting to the same extent.
그림 4: **약한 분포 이동과 강한 분포 이동에 대한 405M 규모의 replay 효과.** 훈련 중 Pile validation loss(왼쪽)와 SlimPajama/German validation(오른쪽 상단/하단)를 보고합니다. 각 모델은 Pile의 300B tokens에 대해 사전 학습된 checkpoint에서 학습됩니다. 파란색 점선은 각각 총 600B 및 500B tokens 데이터 세트인 Pile\(\cup\)SlimPajama 또는 Pile\(\cup\)German 데이터에 대해 학습된 모델의 최종 validation loss를 보고합니다. replay는 두 shift 모두에서 망각을 크게 줄여주지만, 더 강한 shift에서는 동일한 정도로 망각을 완화하기 위해 더 많은 replay가 필요하다는 것을 관찰할 수 있습니다.
그림 4: **약한 분포 이동과 강한 분포 이동에 대한 405M 규모의 리플레이 효과.** 훈련 중 Pile 유효성 검사 손실(왼쪽)과 SlimPajama/German 유효성 검사(오른쪽 상단/하단)를 보고합니다. 각 모델은 Pile의 300B 토큰에 대해 사전 학습된 체크포인트에서 학습됩니다. 파란색 점선은 각각 총 600B 및 500B 토큰 데이터 세트인 Pile\(\cup\)SlimPajama 또는 Pile\(\cup\)German 데이터에 대해 학습된 모델의 최종 유효성 검사 손실을 보고합니다. 리플레이는 두 시프트 모두에서 망각을 크게 줄여주지만, 더 강한 시프트에서는 동일한 정도로 망각을 완화하기 위해 더 많은 리플레이가 필요하다는 것을 관찰할 수 있습니다.