GeneralizationIn math continual pretraining, as depicted in Figure 6, training exclusively with SLM leads to quickly convergence to the domain focused by the reference model, accompanied by a significant rise in the loss of unselected tokens. Although no adverse effects, like biases, have been observed from the increased loss yet, a general pretraining loss on text and code may prevent overfitting Goodhart and Goodhart (1984), as suggested by Ouyang et al. (2022) and Azerbayev et al. (2023). Furthermore, future efforts could broaden the corpus scope of the reference model, and enlarge the pretraining data size, as exemplified by DeepSpeedMath Shao et al. (2024).
수학 지속적 사전 학습에서, Figure 6에 묘사된 바와 같이, SLM으로만 훈련하면 참조 모델이 집중하는 도메인으로 빠르게 수렴하게 되며, 선택되지 않은 토큰의 손실이 크게 증가합니다. 비록 증가된 손실로 인한 편향과 같은 부정적인 효과는 아직 관찰되지 않았지만, Ouyang et al. (2022)와 Azerbayev et al. (2023)이 제안한 바와 같이, 텍스트와 코드에 대한 일반적인 사전 학습 손실은 Goodhart와 Goodhart (1984)의 과적합을 방지할 수 있습니다. 또한, 향후 연구에서는 참조 모델의 코퍼스 범위를 넓히고, DeepSpeedMath Shao et al. (2024)에서 예시된 것처럼 사전 학습 데이터 크기를 확대할 수 있습니다.
일반화수학 연속적 사전 학습의 경우, 그림 6과 같이 SLM으로만 훈련하면 참조 모델에 의해 집중된 도메인에 빠르게 수렴하게 되고, 선택되지 않은 토큰의 손실이 크게 증가하게 됩니다. 아직까지 편향과 같은 부작용은 관찰되지 않았지만, 텍스트와 코드에 대한 일반적인 사전 학습 손실은 Ouyang 등(2022)과 Azerbayev 등(2023)이 제안한 것처럼 과적합을 방지할 수 있습니다. 또한, 향후 노력은 DeepSpeedMath Shao 등(2024)에서 예시한 것처럼 참조 모델의 코퍼스 범위를 넓히고 사전 학습 데이터 크기를 늘릴 수 있습니다.