Because we do not expect thoughts to be useful in predicting every token, we would prefer the model's reward to depend less on the exact next word in the text following the thought and more on the following semantic content. There are two primary challenges here.
생각이 모든 토큰을 예측하는 데 유용할 것이라고 기대하지 않기 때문에, 우리는 모델의 보상이 생각 다음의 정확한 다음 단어보다는 그 다음의 의미적 내용에 더 의존하기를 원합니다. 여기에는 두 가지 주요 과제가 있습니다.
모든 토큰을 예측하는 데 생각이 유용할 것으로 기대하지 않기 때문에 모델의 보상이 생각 다음에 오는 텍스트의 정확한 다음 단어에 덜 의존하고 다음 의미 있는 내용에 더 많이 의존하는 것이 바람직합니다. 여기에는 두 가지 주요 과제가 있습니다.