For assumption 1, since the ground truth is correct, there is no need to use the reward model for labeling, and most tokens are supposed to be associated with positive reward signals.
가정 1의 경우, 지상 실측이 정답이므로 reward 모델을 라벨링에 사용할 필요가 없으며, 대부분의 토큰은 긍정적인 reward 신호와 연관되어 있다고 가정한다.
가정 1의 경우, 지상 실측이 정답이므로 보상 모델을 라벨링에 사용할 필요가 없으며, 대부분의 토큰은 긍정적인 보상 신호와 연관되어 있다고 가정한다.