When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al., 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting - ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present **Quiet-STaR**, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%\(\rightarrow\)10.9%) and CommonsenseQA (36.3%\(\rightarrow\)47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.
글을 쓰고 말할 때 사람들은 생각을 하기 위해 멈추기도 합니다. 추론에 초점을 맞춘 연구에서는 추론을 질문에 답하거나 대리인의 작업을 완료하는 방법으로 묘사하는 경우가 많지만, 추론은 거의 모든 서면 텍스트에 암시되어 있습니다. 예를 들어, 이는 증명의 줄 사이에 명시되지 않은 단계 또는 대화의 기반이 되는 마음의 이론에 적용됩니다. Self-Taught Reasoner (STaR, Zelikman et al., 2022)에서는 질의응답에서 few-shot 예제에서 추론을 추론하고 정답으로 이어지는 예제에서 학습함으로써 유용한 사고를 학습합니다. 이는 매우 제한된 설정으로, 언어 모델이 대신 임의의 텍스트에서 명시되지 않은 근거를 추론하는 방법을 학습할 수 있다면 이상적입니다. 우리는 LMs이 미래의 텍스트를 설명하기 위해 각 토큰에서 근거를 생성하여 예측을 개선하는 STaR의 일반화인 **Quiet-STaR**을 소개합니다. 1) 연속 생성의 계산 비용, 2) LMs이 처음에는 내부 생각을 생성하거나 사용하는 방법을 모른다는 사실, 3) 개별 다음 토큰을 넘어 예측해야 한다는 점 등 주요 과제를 해결합니다. 이를 해결하기 위해 학습 가능한 토큰을 사용하여 생각의 시작과 끝을 나타내는 토큰과 확장된 teacher-forcing 기법을 사용하는 토큰별 병렬 샘플링 알고리즘을 제안합니다. 고무적인 점은 생성된 근거가 예측하기 어려운 토큰에 불균형적으로 도움이 되고 모델이 어려운 질문에 직접 답할 수 있는 능력을 향상시킨다는 점입니다. 특히, 인터넷 텍스트 코퍼스에 대해 Quiet-STaR을 사용하여 LMs을 지속적으로 사전 학습한 후, GSM8K(5.9%\(\rightarrow\)10.9%)와 CommonsenseQA(36.3%\(\rightarrow\)47.2%)에서 zero-shot 개선을 발견했으며, 자연어 텍스트에서 어려운 토큰의 perplexity가 개선되는 것을 관찰했습니다. 결정적으로, 이러한 개선에는 이러한 작업에 대한 Fine-tuning이 필요하지 않습니다. Quiet-STaR은 보다 일반적이고 확장 가능한 방식으로 추론하는 방법을 학습할 수 있는 LMs을 향한 한 걸음입니다.
글을 쓰고 말할 때 사람들은 생각을 하기 위해 멈추기도 합니다. 추론에 초점을 맞춘 연구에서는 추론을 질문에 답하거나 대리인의 작업을 완료하는 방법으로 묘사하는 경우가 많지만, 추론은 거의 모든 서면 텍스트에 암시되어 있습니다. 예를 들어, 이는 증명의 줄 사이에 명시되지 않은 단계 또는 대화의 기반이 되는 마음의 이론에 적용됩니다. 자기 가르침 추론자(STaR, Zelikman et al., 2022)에서는 질의응답에서 몇 번의 샷 예제에서 추론을 추론하고 정답으로 이어지는 예제에서 학습함으로써 유용한 사고를 학습합니다. 이는 매우 제한된 설정으로, 언어 모델이 대신 임의의 텍스트에서 명시되지 않은 근거를 추론하는 방법을 학습할 수 있다면 이상적입니다. 우리는 LM이 미래의 텍스트를 설명하기 위해 각 토큰에서 근거를 생성하여 예측을 개선하는 STaR의 일반화인 **Quiet-STaR**을 소개합니다. 1) 연속 생성의 계산 비용, 2) LM이 처음에는 내부 생각을 생성하거나 사용하는 방법을 모른다는 사실, 3) 개별 다음 토큰을 넘어 예측해야 한다는 점 등 주요 과제를 해결합니다. 이를 해결하기 위해 학습 가능한 토큰을 사용하여 생각의 시작과 끝을 나타내는 토큰과 확장된 교사 강제 기법을 사용하는 토큰별 병렬 샘플링 알고리즘을 제안합니다. 고무적인 점은 생성된 근거가 예측하기 어려운 토큰에 불균형적으로 도움이 되고 모델이 어려운 질문에 직접 답할 수 있는 능력을 향상시킨다는 점입니다. 특히, 인터넷 텍스트 코퍼스에 대해 Quiet-STaR을 사용하여 LM을 지속적으로 사전 학습한 후, GSM8K(5.9%\(\우측대각선\)10.9%)와 CommonsenseQA(36.3%\(\우측대각선\)47.2%)에서 0샷 개선을 발견했으며, 자연어 텍스트에서 어려운 토큰의 당혹감이 개선되는 것을 관찰했습니다. 결정적으로, 이러한 개선에는 이러한 작업에 대한 미세 조정이 필요하지 않습니다. Quiet-STaR은 보다 일반적이고 확장 가능한 방식으로 추론하는 방법을 학습할 수 있는 LM을 향한 한 걸음입니다.