Consequently, we learn that the loss associated with each token during training does not decrease smoothly like the overall loss; instead, there is a complex training dynamic among different tokens. If we can select the appropriate tokens for the model to focus on during training, we may be able to stabilize the trajectory of the model's training and enhance its efficiency.
결과적으로, 우리는 훈련 중 각 토큰과 관련된 손실이 전체 손실처럼 부드럽게 감소하지 않으며, 대신 서로 다른 토큰들 사이에 복잡한 훈련 동적이 존재한다는 것을 알게 되었습니다. 훈련 중 모델이 집중할 적절한 토큰을 선택할 수 있다면, 모델 훈련의 궤적을 안정화하고 효율성을 향상시킬 수 있을 것입니다.
결과적으로, 훈련 중 각 토큰과 관련된 손실이 전체 손실처럼 매끄럽게 감소하지 않고 다른 토큰 간에 복잡한 훈련 동적이 있다는 것을 알 수 있습니다. 모델이 훈련 중에 집중할 적절한 토큰을 선택할 수 있다면 모델 훈련의 궤적을 안정화하고 효율성을 높일 수 있습니다.