Previous language model pre-training methods have uniformly applied a next-token prediction loss to all training tokens. Challenging this norm, we posit that _"Not all tokens in a corpus are equally important for language model training"_. Our initial analysis delves into token-level training dynamics of language model, revealing distinct loss patterns for different tokens. Leveraging these insights, we introduce a new language model called Rho-1. Unlike traditional LMs that learn to predict every next token in a corpus, Rho-1 employs Selective Language Modeling (SLM), which selectively trains on useful tokens that aligned with the desired distribution. This approach involves scoring pretraining tokens using a reference model, and then training the language model with a focused loss on tokens with higher excess loss. When continual pretraining on 15B OpenWebMath corpus, Rho-1 yields an absolute improvement in few-shot accuracy of up to 30% in 9 math tasks. After fine-tuning, Rho-1-1B and 7B achieved state-of-the-art results of 40.6% and 51.8% on MATH dataset, respectively -- matching DeepSeeMath with only 3% of the pretraining tokens. Furthermore, when pretraining on 80B general tokens, Rho-1 achieves 6.8% average enhancement across 15 diverse tasks, increasing both efficiency and performance of the language model pre-training.
이전 언어 모델 사전 학습 방법은 모든 학습 토큰에 대해 획일적으로 다음 토큰 예측 Loss를 적용해 왔습니다. 이러한 기존의 관행에 도전하여 저희는 _"코퍼스의 모든 토큰이 언어 모델 학습에 똑같이 중요한 것은 아니다"라는 가설을 세웁니다. 저희의 초기 분석은 언어 모델의 토큰 수준 학습 동역학을 탐구하여 토큰마다 다른 Loss 패턴을 드러냅니다. 이러한 인사이트를 활용하여 Rho-1이라는 새로운 언어 모델을 소개합니다. Rho-1은 말뭉치의 모든 다음 토큰을 예측하는 기존 LMs과 달리 원하는 분포에 맞춰 유용한 토큰을 선택적으로 학습하는 Selective Language Modeling (SLM)을 사용합니다. 이 접근 방식에는 참조 모델을 사용하여 사전 학습 토큰에 점수를 부여한 다음 초과 Loss가 더 높은 토큰에 초점을 맞춘 Loss로 언어 모델을 학습시키는 과정이 포함됩니다. 150억 개의 OpenWebMath 말뭉치에 대한 지속적인 사전 학습에서 Rho-1은 9개의 수학 과제에서 최대 30%까지 few-shot 정확도를 절대적으로 향상시켰습니다. Fine-tuning 후 Rho-1-1B와 7B는 각각 MATH 데이터 세트에서 40.6%와 51.8%의 최신 결과를 달성했으며, 이는 사전 학습 토큰의 3%만 사용한 DeepSeeMath와 일치하는 결과입니다. 또한 800억 개의 일반 토큰에 대해 사전 학습을 수행한 Rho-1은 15개의 다양한 작업에서 평균 6.8%의 향상을 달성하여 언어 모델 사전 학습의 효율성과 성능을 모두 향상시켰습니다.
이전 언어 모델 사전 학습 방법은 모든 학습 토큰에 대해 획일적으로 다음 토큰 예측 손실을 적용해 왔습니다. 이러한 기존의 관행에 도전하여 저희는 _"코퍼스의 모든 토큰이 언어 모델 학습에 똑같이 중요한 것은 아니다"라는 가설을 세웁니다. 저희의 초기 분석은 언어 모델의 토큰 수준 학습 동역학을 탐구하여 토큰마다 다른 손실 패턴을 드러냅니다. 이러한 인사이트를 활용하여 Rho-1이라는 새로운 언어 모델을 소개합니다. Rho-1은 말뭉치의 모든 다음 토큰을 예측하는 기존 LM과 달리 원하는 분포에 맞춰 유용한 토큰을 선택적으로 학습하는 선택적 언어 모델링(SLM)을 사용합니다. 이 접근 방식에는 참조 모델을 사용하여 사전 학습 토큰에 점수를 부여한 다음 초과 손실이 더 높은 토큰에 초점을 맞춘 손실로 언어 모델을 학습시키는 과정이 포함됩니다. 150억 개의 OpenWebMath 말뭉치에 대한 지속적인 사전 학습에서 Rho-1은 9개의 수학 과제에서 최대 30%까지 몇 번의 샷 정확도를 절대적으로 향상시켰습니다. 미세 조정 후 Rho-1-1B와 7B는 각각 MATH 데이터 세트에서 40.6%와 51.8%의 최신 결과를 달성했으며, 이는 사전 학습 토큰의 3%만 사용한 DeepSeeMath와 일치하는 결과입니다. 또한 800억 개의 일반 토큰에 대해 사전 학습을 수행한 Rho-1은 15개의 다양한 작업에서 평균 6.8%의 향상을 달성하여 언어 모델 사전 학습의 효율성과 성능을 모두 향상시켰습니다.