Figure 11: **Replay v.s. no replay when re-warming the learning rate and continually pre-training on different amounts of data. We train 405M parameter models with and without 5% replay on 100B, 200B, and 300B tokens of SlimPajama data.
그림 11: **Learning Rate를 다시 가열하고 다양한 양의 데이터에 대해 지속적으로 사전 학습을 할 때 리플레이 대 리플레이 없음. 100B, 200B, 300B 토큰의 SlimPajama 데이터에서 5% 리플레이를 사용하여 405M 파라미터 모델을 훈련합니다.
그림 11: **학습 속도를 다시 가열하고 다양한 양의 데이터에 대해 지속적으로 사전 학습을 할 때 리플레이 대 리플레이 없음. 100B, 200B, 300B 토큰의 슬림파자마 데이터에서 5% 리플레이를 사용하여 405M 파라미터 모델을 훈련합니다.