This ensures that the loss is applied only to the tokens that are deemed most beneficial for the language model to learn from. In practice, token selection can be implemented by ranking the tokens in a batch according to their excess loss and using only the top \(k\%\) of tokens for training.
이 방법은 언어 모델이 학습하는 데 가장 유익한 토큰에만 손실이 적용되도록 보장합니다. 실제로, 토큰 선택은 배치 내 토큰을 초과 손실에 따라 순위 매긴 후 상위 \(k\%\)의 토큰만을 사용하여 훈련함으로써 구현할 수 있습니다.
이렇게 하면 언어 모델이 학습하는 데 가장 유익하다고 간주되는 토큰에만 손실이 적용됩니다. 실제로 토큰 선택은 초과 손실에 따라 배치의 토큰을 순위화하고 상위 \(k\%\)의 토큰만 학습에 사용하는 방식으로 구현할 수 있습니다.