Reference ModelingWe begin by curating a high-quality dataset that reflects the desired data distribution. We train a reference model (RM) using standard cross-entropy loss on the curated data. The resulting RM is then used to assess the token loss within a larger pretraining corpus. We compute the reference loss (\(\mathcal{L}_{\text{ref}}\)) of a token \(x_{i}\) based on the probability that the RM assigns to this token.
참조 모델링. 먼저 원하는 데이터 분포를 반영하는 고품질 데이터 세트를 큐레이션하는 것으로 시작합니다. 큐레이션된 데이터에 대해 표준 cross-entropy Loss를 사용하여 참조 모델(RM)을 훈련합니다. 그런 다음 결과 RM을 사용하여 더 큰 사전 학습 코퍼스 내에서 토큰 손실을 평가합니다. RM이 이 토큰에 할당하는 확률을 기반으로 토큰 \(x_{i}\)의 참조 손실(\(\mathcal{L}_{\text{ref}}\))을 계산합니다.
참조 모델링먼저 원하는 데이터 분포를 반영하는 고품질 데이터 세트를 큐레이션하는 것으로 시작합니다. 큐레이션된 데이터에 대해 표준 교차 엔트로피 손실을 사용하여 참조 모델(RM)을 훈련합니다. 그런 다음 결과 RM을 사용하여 더 큰 사전 학습 코퍼스 내에서 토큰 손실을 평가합니다. RM이 이 토큰에 할당하는 확률을 기반으로 토큰 \(x_{i}\)의 참조 손실(\(\mathcal{L}_{\text{ref}}\))을 계산합니다.