Based on these analyses, we introduce Rho-1 models trained with a novel Selective Language Modeling (SLM) objective. As shown in Figure 2 (Right), this approach inputs the full sequence into the model and selectively removes the loss of undesired tokens. The detailed pipeline is depicted in Figure 4: First, SLM trains a reference language model on high-quality corpora. This model establishes utility metrics to score tokens according to the desired distribution, naturally filtering out unclean and irrelevant tokens. Second, SLM uses the reference model to score each token in a corpus using its loss (SS2.2). Finally, we train a language model only on those tokens that exhibit a high excess loss between the reference and the training model, selectively learning the tokens that best benefit downstream applications (SS2.2).
이러한 분석을 바탕으로 새로운 Selective Language Modeling (SLM) objective로 학습된 Rho-1 모델을 소개합니다. 그림 2(오른쪽)와 같이, 이 접근 방식은 전체 시퀀스를 모델에 입력하고 원하지 않는 토큰의 loss를 선택적으로 제거합니다. 자세한 파이프라인은 그림 4에 나와 있습니다: 먼저, SLM은 고품질 코퍼라에 대해 참조 language model을 훈련합니다. 이 모델은 원하는 분포에 따라 토큰의 점수를 매기는 유틸리티 메트릭을 설정하여 불순하고 관련 없는 토큰을 자연스럽게 필터링합니다. 둘째, SLM은 참조 모델을 사용하여 loss(SS2.2)를 사용하여 코퍼스의 각 토큰에 점수를 부여합니다. 마지막으로, 참조 모델과 학습 모델 간에 높은 초과 loss를 보이는 토큰에 대해서만 language model을 학습시켜 다운스트림 애플리케이션에 가장 도움이 되는 토큰을 선택적으로 학습시킵니다(SS2.2).
이러한 분석을 바탕으로 새로운 선택적 언어 모델링(SLM) 목표로 학습된 Rho-1 모델을 소개합니다. 그림 2(오른쪽)와 같이, 이 접근 방식은 전체 시퀀스를 모델에 입력하고 원하지 않는 토큰의 손실을 선택적으로 제거합니다. 자세한 파이프라인은 그림 4에 나와 있습니다: 먼저, SLM은 고품질 코퍼라에 대해 참조 언어 모델을 훈련합니다. 이 모델은 원하는 분포에 따라 토큰의 점수를 매기는 유틸리티 메트릭을 설정하여 불순하고 관련 없는 토큰을 자연스럽게 필터링합니다. 둘째, SLM은 참조 모델을 사용하여 손실(SS2.2)을 사용하여 코퍼스의 각 토큰에 점수를 부여합니다. 마지막으로, 참조 모델과 학습 모델 간에 높은 초과 손실을 보이는 토큰에 대해서만 언어 모델을 학습시켜 다운스트림 애플리케이션에 가장 도움이 되는 토큰을 선택적으로 학습시킵니다(SS2.2).