OverviewInspired by the practice of reference model in document-level filtering, we propose a simple pipeline of token-level data selection, termed "Selective Language Modeling (SLM)". Our method comprises three steps, as depicted in Figure 4. We begin by training a reference model on a curated, high-quality dataset. This model then assesses the loss of each token within the pretraining corpus. In the final phase, we train the language model selectively, focusing on tokens with high excess loss between the training and reference model.
개요문서 수준 필터링의 참조 모델 관행에서 영감을 받아 토큰 수준 데이터 선택의 간단한 파이프라인을 제안합니다. 이 방법은 그림 4에 나와 있는 세 단계로 구성됩니다. 먼저 엄선된 고품질 데이터 세트에 대해 reference model을 훈련합니다. 그런 다음 이 모델은 사전 학습 코퍼스 내의 각 토큰 loss를 평가합니다. 마지막 단계에서는 훈련 모델과 reference model 간의 초과 loss가 큰 토큰에 집중하여 language model을 선택적으로 훈련합니다.
개요문서 수준 필터링의 참조 모델 관행에서 영감을 받아 토큰 수준 데이터 선택의 간단한 파이프라인을 제안합니다. 이 방법은 그림 4에 나와 있는 세 단계로 구성됩니다. 먼저 엄선된 고품질 데이터 세트에 대해 참조 모델을 훈련합니다. 그런 다음 이 모델은 사전 학습 코퍼스 내의 각 토큰 손실을 평가합니다. 마지막 단계에서는 훈련 모델과 참조 모델 간의 초과 손실이 큰 토큰에 집중하여 언어 모델을 선택적으로 훈련합니다.