Figure 2: **Generalization Results. We evaluate the extent to which the model trained with Quiet-STaR generalizes to directly answering problems that require reasoning. The left plot (a) shows the zero-shot accuracy on GSM8K, while the right plot (b) shows the zero-shot accuracy on CommonsenseQA, without any fine-tuning. In both plots, the x-axis represents training steps, and each line corresponds to a different number of thinking tokens used during Quiet-STaR training. The y-axis measures the zero-shot direct accuracy on the respective datasets. We also include an inference normalized version of this plot in Figure 6.**Self-Taught Reasoner (Zelikman et al., 2022), which demonstrated that a language model iteratively trained on its reasoning that led to correct answers could solve increasingly difficult problems. Later work aimed to leverage additional information or assumptions such as Huang et al. (2022) which demonstrated that the algorithm proposed in StaR could still work if one assumed that the majority-vote answer was correct (although this has a lower ultimate performance). Further work has generalized the results of Zelikman et al. (2022), such as Uesato et al. (2022) which demonstrated additional usefulness to "process-based" supervision where incorrect reasoning traces were filtered, recently V-StaR (Hosseini et al., 2024) that demonstrates that training a verifier to guide generation also improves performance, as well as TRICE (Hoffman et al., 2024) which maximizes the marginal likelihood of the correct answer given several reasoning traces per problem. Finally, related work has also explored learning intermediate reasoning in the constrained setting of making mathematical statements, where statements in the model's intermediate reasoning could be constrained to only be valid mathematical statements (Poesia et al., 2023). We include further discussion of related reasoning works in Appendix F.
그림 2: **일반화 결과. Quiet-STaR로 학습된 모델이 추론이 필요한 문제에 직접 답하는 데 어느 정도까지 일반화되는지 평가합니다. 왼쪽 플롯(a)은 GSM8K의 zero-shot 정확도를 보여주고, 오른쪽 플롯(b)은 Fine-tuning 없이 CommonsenseQA의 zero-shot 정확도를 보여줍니다. 두 플롯 모두에서 x축은 훈련 단계를 나타내며, 각 선은 Quiet-STaR 훈련 중에 사용된 사고 토큰의 수에 따라 다릅니다. Y축은 각 데이터 세트에 대한 zero-shot 직접 정확도를 측정합니다. 이 플롯의 추론 정규화 버전도 그림 6에 포함되어 있습니다.**Self-Taught Reasoner (Zelikman et al., 2022)는 정답으로 이어지는 추론을 반복적으로 학습한 언어 모델이 점점 더 어려운 문제를 해결할 수 있음을 보여주었습니다. 이후 연구에서는 StaR에서 제안한 알고리즘이 다수결 답이 정답이라고 가정할 경우에도 여전히 작동할 수 있음을 입증한 Huang et al. (2022)과 같은 추가 정보 또는 가정을 활용하는 것을 목표로 했습니다(비록 궁극적인 성능은 낮지만). 이후 연구에서는 오류가 있는 추론 추적이 필터링된 '프로세스 기반' 감독에 추가적인 유용성을 입증한 Uesato et al. (2022)과 같이 Zelikman et al. (2022)의 결과를 일반화했으며, 최근에는 생성을 안내하기 위해 검증기를 훈련하면 성능이 향상됨을 입증한 V-StaR(Hosseini et al., 2024)과 문제당 여러 추론 추적이 주어졌을 때 정답의 한계 가능성을 최대화하는 TRICE(Hoffman et al., 2024)가 있습니다. 마지막으로, 관련 연구에서는 모델의 중간 추론이 유효한 수학적 진술에만 제한될 수 있는 수학적 진술을 만드는 제약된 설정에서 중간 추론 학습을 탐구하기도 했습니다(Poesia et al., 2023). 관련 추론 작업에 대한 추가 논의는 부록 F에 포함되어 있습니다.
그림 2: **일반화 결과. Quiet-STaR로 학습된 모델이 추론이 필요한 문제에 직접 답하는 데 어느 정도까지 일반화되는지 평가합니다. 왼쪽 플롯(a)은 GSM8K의 제로 샷 정확도를 보여주고, 오른쪽 플롯(b)은 파인 튜닝 없이 CommonsenseQA의 제로 샷 정확도를 보여줍니다. 두 플롯 모두에서 x축은 훈련 단계를 나타내며, 각 선은 Quiet-STaR 훈련 중에 사용된 사고 토큰의 수에 따라 다릅니다. Y축은 각 데이터 세트에 대한 제로 샷 직접 정확도를 측정합니다. 이 플롯의 추론 정규화 버전도 그림 6에 포함되어 있습니다.**자기 학습 추론자(Zelikman et al., 2022)는 정답으로 이어지는 추론을 반복적으로 학습한 언어 모델이 점점 더 어려운 문제를 해결할 수 있음을 보여주었습니다. 이후 연구에서는 StaR에서 제안한 알고리즘이 다수결 답이 정답이라고 가정할 경우에도 여전히 작동할 수 있음을 입증한 Huang et al. (2022)과 같은 추가 정보 또는 가정을 활용하는 것을 목표로 했습니다(비록 궁극적인 성능은 낮지만). 이후 연구에서는 오류가 있는 추론 추적이 필터링된 '프로세스 기반' 감독에 추가적인 유용성을 입증한 Uesato et al. (2022)과 같이 Zelikman et al. (2022)의 결과를 일반화했으며, 최근에는 생성을 안내하기 위해 검증기를 훈련하면 성능이 향상됨을 입증한 V-StaR(Hosseini et al., 2024)과 문제당 여러 추론 추적이 주어졌을 때 정답의 한계 가능성을 최대화하는 TRICE(Hoffman et al., 2024)가 있습니다. 마지막으로, 관련 연구에서는 모델의 중간 추론이 유효한 수학적 진술에만 제한될 수 있는 수학적 진술을 만드는 제약된 설정에서 중간 추론 학습을 탐구하기도 했습니다(Poesia et al., 2023). 관련 추론 작업에 대한 추가 논의는 부록 F에 포함되어 있습니다.