Continued Training.Similar to recent work (Google, 2023), we find that switching the data distribution and learning rate decay schedule at the end of model training greatly improves model quality. Concretely, after having trained over the entirety of our 8T pre-training dataset, we use the same loss objective and perform continued training on small number of tokens in comparison to the pre-training tokens.
계속 Training. 최근 연구(Google, 2023)에서와 같이, 모델 훈련이 끝날 때 데이터 분포와 Learning Rate decay schedule을 전환하면 모델 품질이 크게 향상되는 것을 발견했습니다. 구체적으로, 8T pre-training 데이터 세트 전체에 대해 학습한 후 동일한 Loss objective를 사용하여 pre-training 토큰과 비교하여 소수의 토큰에 대해 계속 Training을 수행합니다.
계속 훈련.최근 연구(Google, 2023)에서와 같이, 모델 훈련이 끝날 때 데이터 분포와 학습 속도 감소 일정을 전환하면 모델 품질이 크게 향상되는 것을 발견했습니다. 구체적으로, 8T 사전 학습 데이터 세트 전체에 대해 학습한 후 동일한 손실 목표를 사용하여 사전 학습 토큰과 비교하여 소수의 토큰에 대해 계속 학습을 수행합니다.