Figure 5: **Final loss of 405M parameter models trained on two distribution shifts.** Figures (a) and (b) are duplicated from Fig. 6 for convenient comparison. we provided three baselines and two continually pre-trained models. The baselines (light blue, dark blue, and maroon) are trained from random initialization on 300B tokens of SlimPajama, 300B tokens of Pile, and the union of both datasets (600B tokens). The continually pre-trained models (black and violet) start from a checkpoint pre-trained on 300B tokens of Pile (dark blue curve) and use 0% and 5% replay, respectively. We observe that for both distribution shifts, the combination of re-warming the learning rate and using a small percentage of replay helps to strike a balance between forgetting and adaptation. Importantly, we note that the use of replay minimally affects downstream performance compared to the models using 0% replay.
그림 5: **두 분포 이동에 대해 훈련된 405M 파라미터 모델의 최종 Loss.** 그림 (a)와 (b)는 편리한 비교를 위해 그림 6에서 복제한 것입니다. 세 가지 Baseline과 두 가지 연속적으로 사전 훈련된 모델을 제공했습니다. Baseline(하늘색, 진한 파란색, 적갈색)은 SlimPajama의 300B 토큰, Pile의 300B 토큰, 두 데이터 세트의 합집합(600B 토큰)에 대해 무작위 초기화로부터 훈련됩니다. 연속적으로 사전 훈련된 모델(검은색 및 보라색)은 300B 토큰의 Pile(진한 파란색 곡선)에 대해 사전 훈련된 체크포인트에서 시작하여 각각 0% 및 5%의 Replay를 사용합니다. 두 분포 이동 모두에서 Learning Rate를 재가열하고 작은 비율의 Replay를 사용하면 잊어버림과 적응 사이의 균형을 맞추는 데 도움이 된다는 것을 관찰할 수 있습니다. 중요한 점은 Replay를 사용하면 0% Replay를 사용하는 모델에 비해 다운스트림 성능에 미치는 영향이 미미하다는 점입니다.
그림 5: **두 분포 이동에 대해 훈련된 405M 파라미터 모델의 최종 손실.** 그림 (a)와 (b)는 편리한 비교를 위해 그림 6에서 복제한 것입니다. 세 가지 베이스라인과 두 가지 연속적으로 사전 훈련된 모델을 제공했습니다. 베이스라인(하늘색, 진한 파란색, 적갈색)은 SlimPajama의 300B 토큰, Pile의 300B 토큰, 두 데이터 세트의 합집합(600B 토큰)에 대해 무작위 초기화로부터 훈련됩니다. 연속적으로 사전 훈련된 모델(검은색 및 보라색)은 300B 토큰의 Pile(진한 파란색 곡선)에 대해 사전 훈련된 체크포인트에서 시작하여 각각 0% 및 5%의 리플레이를 사용합니다. 두 분포 이동 모두에서 학습 속도를 재가열하고 작은 비율의 리플레이를 사용하면 잊어버림과 적응 사이의 균형을 맞추는 데 도움이 된다는 것을 관찰할 수 있습니다. 중요한 점은 리플레이를 사용하면 0% 리플레이를 사용하는 모델에 비해 다운스트림 성능에 미치는 영향이 미미하다는 점입니다.