Figure 6: **Validation loss during continual pre-training of 10B (top) and 405M (bottom) parameter models.** At each model scale we provided three baselines and two continually pre-trained models. The baselines (light blue, dark blue, and maroon) are trained from random initialization on 300B tokens of \(\text{SlimPajama}\), 300B tokens of \(\text{Pile}\), and the union of both datasets (600B tokens). The continually pre-trained models (black and violet) start from a checkpoint pre-trained on 300B tokens of \(\text{Pile}\) (dark blue curve) and use 0% and 5% replay, respectively. We observe that for both model sizes, the combination of LR re-warming, LR re-decaying, and using a small percentage of replay helps to strike a balance between forgetting and adaptation. Importantly, we note that the use of replay minimally affects downstream performance compared to the models using 0% replay (black and violet curves overlap in figures (b) and (d)).
그림 6: **10B(상단) 및 405M(하단) 파라미터 모델의 지속적 사전 학습 중 Validation Loss.** 각 모델 규모에서 세 가지 baselines와 두 가지 지속적으로 사전 학습된 모델을 제공했습니다. baselines(연한 파란색, 진한 파란색, 적갈색)는 300B 토큰의 \(\text{SlimPajama}\), 300B 토큰의 \(\text{Pile}\), 두 데이터 세트의 합집합(600B 토큰)에 대해 무작위 초기화에서 훈련됩니다. 지속적으로 사전 학습된 모델(검은색 및 보라색)은 300B 토큰의 \(\text{Pile}\)(진한 파란색 곡선)에 대해 사전 학습된 체크포인트에서 시작하여 각각 0% 및 5%의 replay를 사용합니다. 두 모델 크기 모두에서 Learning Rate 재가열, Learning Rate 재감소, 적은 비율의 replay를 사용하는 조합이 잊어버림과 적응 사이의 균형을 맞추는 데 도움이 되는 것을 관찰할 수 있습니다. 중요한 점은 replay를 사용하면 0% replay를 사용하는 모델(그림 (b) 및 (d)에서 검은색과 보라색 곡선이 겹침)에 비해 다운스트림 성능에 미치는 영향이 미미하다는 점입니다.
그림 6: **10B(상단) 및 405M(하단) 파라미터 모델의 지속적 사전 학습 중 검증 손실.** 각 모델 규모에서 세 가지 베이스라인과 두 가지 지속적으로 사전 학습된 모델을 제공했습니다. 베이스라인(연한 파란색, 진한 파란색, 적갈색)은 300B 토큰의 \(\text{SlimPajama}\), 300B 토큰의 \(\text{Pile}\), 두 데이터 세트의 합집합(600B 토큰)에 대해 무작위 초기화에서 훈련됩니다. 지속적으로 사전 학습된 모델(검은색 및 보라색)은 300B 토큰의 \(\text{Pile}\)(진한 파란색 곡선)에 대해 사전 학습된 체크포인트에서 시작하여 각각 0% 및 5%의 리플레이를 사용합니다. 두 모델 크기 모두에서 LR 재가열, LR 재감소, 적은 비율의 리플레이를 사용하는 조합이 잊어버림과 적응 사이의 균형을 맞추는 데 도움이 되는 것을 관찰할 수 있습니다. 중요한 점은 리플레이를 사용하면 0% 리플레이를 사용하는 모델(그림 (b) 및 (d)에서 검은색과 보라색 곡선이 겹침)에 비해 다운스트림 성능에 미치는 영향이 미미하다는 점입니다.