Figure 7: **Pile validation loss when continuing to pre-train on Pile (a) and SlimPajama (b). Each curve starts from the same checkpoint pre-trained on 300B tokens of Pile but is trained with a different maximum learning rate. As we focus on the effect of re-warming the learning rate, we only show curves for the first 100B tokens.
그림 7: **Pile** 유효성 검사 **Loss**가 **Pile** (a) 및 **SlimPajama** (b)에서 사전 학습을 계속할 때의 변화. 각 곡선은 300B 토큰의 **Pile**로 사전 학습된 동일한 체크포인트에서 시작하지만, 최대 **Learning Rate**가 다릅니다. **Learning Rate**를 다시 가열하는 효과에 초점을 맞추기 때문에 처음 100B 토큰에 대한 곡선만 표시합니다.
그림 7: 파일(a) 및 슬림파자마(b)에 대해 사전 학습을 계속할 때의 파일 유효성 검사 손실. 각 곡선은 3,000억 토큰의 파일로 사전 학습된 동일한 체크포인트에서 시작하지만 최대 학습 속도가 다릅니다. 학습 속도를 다시 가열하는 효과에 초점을 맞추기 때문에 처음 100B 토큰에 대한 곡선만 표시합니다.