By evaluating \(\mathcal{L}_{\text{ref}}\) for each token, we establish the reference loss for selective pretraining, allowing us to focus on the most influential tokens in language modeling.
각 토큰에 대해 \(\mathcal{L}_{\text{ref}}\)를 평가함으로써 선택적 사전 학습을 위한 reference loss를 설정하여 언어 모델링에서 가장 영향력 있는 토큰에 집중할 수 있도록 한다.
각 토큰에 대해 \(\mathcal{L}_{\text{ref}}\)를 평가함으로써 선택적 사전 학습을 위한 기준 손실을 설정하여 언어 모델링에서 가장 영향력 있는 토큰에 집중할 수 있도록 한다.