One direction that researchers have used to train language models to reason or improve their reasoning is training the language model on mined reasoning traces or reasoning-like data (Rajani et al., 2019; Wei et al., 2021; Lewkowycz et al., 2022; Chung et al., 2022; Gunasekar et al., 2023). Although this approach has been demonstrated to be effective, it comes with drawbacks. It requires either manual annotation, which is sensitive to the capability of the annotators and is off-policy for the language model (i.e., the distribution of reasoning is not text that the language model would otherwise likely have generated). This approach is also expensive, difficult to scale, and provides no clear path to solving problems harder than those that the annotators are capable of solving.
연구자들이 언어 모델을 학습시켜 추론하거나 추론 능력을 향상시키기 위해 사용한 한 가지 방향은 언어 모델을 채굴된 추론 추적 또는 추론과 유사한 데이터에 대해 학습시키는 것입니다(Rajani et al., 2019; Wei et al., 2021; Lewkowycz et al., 2022; Chung et al., 2022; Gunasekar et al., 2023). 이 접근 방식은 효과적인 것으로 입증되었지만 단점이 있습니다. 이 접근 방식은 수작업으로 주석을 달아야 하며, 이는 주석 작성자의 역량에 민감하고 언어 모델에 대해 off-policy입니다(즉, 추론의 분포는 언어 모델이 생성할 가능성이 높은 텍스트가 아닙니다). 또한 이 접근 방식은 비용이 많이 들고 확장하기 어렵으며 주석 작성자가 해결할 수 있는 문제보다 더 어려운 문제를 해결할 수 있는 명확한 경로를 제공하지 않습니다.
연구자들이 언어 모델을 학습시켜 추론하거나 추론 능력을 향상시키기 위해 사용한 한 가지 방향은 언어 모델을 채굴된 추론 추적 또는 추론과 유사한 데이터에 대해 학습시키는 것입니다(Rajani et al., 2019; Wei et al., 2021; Lewkowycz et al., 2022; Chung et al., 2022; Gunasekar et al., 2023). 이 접근 방식은 효과적인 것으로 입증되었지만 단점이 있습니다. 이 접근 방식은 수작업으로 주석을 달아야 하며, 이는 주석 작성자의 역량에 민감하고 언어 모델에 대해 정책에 민감합니다(즉, 추론의 분포는 언어 모델이 생성할 가능성이 높은 텍스트가 아닙니다). 또한 이 접근 방식은 비용이 많이 들고 확장하기 어렵으며 주석 작성자가 해결할 수 있는 문제보다 더 어려운 문제를 해결할 수 있는 명확한 경로를 제공하지 않습니다.