The models are pre-trained on 300B tokens of SlimPajama from random initialization. Figure 8 shows the training curves of 3 405M parameter models trained on SlimPajama with different learning rate schedules. We observe that all methods reach similar final validation loss showing that infinite learning rate schedules can be used for the common case of pre-training as well. These schedules additionally have the advantage that one can start annealing at any time in the constant phase to efficiently improves the loss when deciding to finalize pre-training, and a pre-annealing checkpoint can be loaded to continue pre-training.
모델은 무작위 초기화에서 SlimPajama의 300B tokens에 대해 사전 학습됩니다. 그림 8은 다양한 Learning Rate 일정으로 SlimPajama에서 학습된 3 405M 파라미터 모델의 학습 곡선을 보여줍니다. 모든 방법이 유사한 최종 유효성 검사 Loss에 도달하여 사전 학습의 일반적인 경우에도 무한 Learning Rate 일정을 사용할 수 있음을 알 수 있습니다. 또한 이러한 일정은 사전 학습을 완료하기로 결정했을 때 Loss를 효율적으로 개선하기 위해 일정 단계에서 언제든지 어닐링을 시작할 수 있고, 사전 어닐링 체크포인트를 로드하여 사전 학습을 계속할 수 있다는 장점이 있습니다.
모델은 무작위 초기화에서 SlimPajama의 300B 토큰에 대해 사전 학습됩니다. 그림 8은 다양한 학습 속도 일정으로 SlimPajama에서 학습된 3 405M 파라미터 모델의 학습 곡선을 보여줍니다. 모든 방법이 유사한 최종 유효성 검사 손실에 도달하여 사전 학습의 일반적인 경우에도 무한 학습 속도 일정을 사용할 수 있음을 알 수 있습니다. 또한 이러한 일정은 사전 학습을 완료하기로 결정했을 때 손실을 효율적으로 개선하기 위해 일정 단계에서 언제든지 어닐링을 시작할 수 있고, 사전 어닐링 체크포인트를 로드하여 사전 학습을 계속할 수 있다는 장점이 있습니다.