Note that, in principle, this provides no advantage over an optimal language model that already correctly models the language's distribution over strings. Yet, in practice, extensive prior work has shown that language models benefit from intermediate rationales on reasoning tasks (Nye et al., 2021; Zelikman et al., 2022; Wei et al., 2022). Some work has aimed to explain the effects of chain-of-thought reasoning, namely attributing it to "locality of experience" (Prystawski et al., 2024). More broadly, reasoning allows a model to decompose a challenging computation into smaller steps. In effect, we train the model to learn which decomposition and planning steps are effective in predicting future text. Also note that we formulate the objective as accurately predicting the remaining sequence, rather than only the next token. Once again, for an optimal LM these would be equivalent. However we find that the non-myopic formulation leads to a more effective loss for learning rationales.
이 방법은 원칙적으로 이미 문자열에 대한 언어의 분포를 올바르게 모델링하는 최적의 language model보다 아무런 이점이 없습니다. 그러나 실제로 광범위한 선행 연구에 따르면 language models는 추론 작업에서 중간 합리에 도움이 된다는 사실이 밝혀졌습니다(Nye et al., 2021; Zelikman et al., 2022; Wei et al., 2022). 일부 연구에서는 chain-of-thought reasoning의 효과를 설명하는 것을 목표로 했는데, 즉 "경험의 국지성"에 기인한다고 주장했습니다(Prystawski et al., 2024). 더 넓게는 reasoning을 통해 모델은 어려운 계산을 더 작은 단계로 분해할 수 있습니다. 사실, 우리는 모델이 어떤 분해와 계획 단계가 미래 텍스트를 예측하는 데 효과적인지 학습하도록 훈련합니다. 또한 다음 토큰뿐만 아니라 나머지 시퀀스를 정확하게 예측하는 것을 목표로 objective를 공식화한다는 점에 유의하세요. 다시 말하지만, 최적의 LM에서는 이 두 가지가 동일합니다. 그러나 우리는 근시적이지 않은 공식화가 근거를 학습하는 데 더 효과적인 loss를 초래한다는 것을 발견했습니다.
이 방법은 원칙적으로 이미 문자열에 대한 언어의 분포를 올바르게 모델링하는 최적의 언어 모델보다 아무런 이점이 없습니다. 그러나 실제로 광범위한 선행 연구에 따르면 언어 모델은 추론 작업에서 중간 합리에 도움이 된다는 사실이 밝혀졌습니다(Nye et al., 2021; Zelikman et al., 2022; Wei et al., 2022). 일부 연구에서는 연쇄 추론의 효과를 설명하는 것을 목표로 했는데, 즉 "경험의 국지성"에 기인한다고 주장했습니다(Prystawski et al., 2024). 더 넓게는 추론을 통해 모델은 어려운 계산을 더 작은 단계로 분해할 수 있습니다. 사실, 우리는 모델이 어떤 분해와 계획 단계가 미래 텍스트를 예측하는 데 효과적인지 학습하도록 훈련합니다. 또한 다음 토큰뿐만 아니라 나머지 시퀀스를 정확하게 예측하는 것을 목표로 목표를 공식화한다는 점에 유의하세요. 다시 말하지만, 최적의 LM에서는 이 두 가지가 동일합니다. 그러나 우리는 근시적이지 않은 공식화가 근거를 학습하는 데 더 효과적인 손실을 초래한다는 것을 발견했습니다.