Much of the meaning of text is hidden between the lines: without understanding why statements appear in a document, a reader has only a shallow understanding. Moreover, this has been repeatedly shown to be true for LMs as well, in the contexts of tasks ranging from commonsense reasoning to theorem proving to programming (Wei et al., 2022; Nye et al., 2021; Zelikman et al., 2022; 2023; Kojima et al., 2022). Reasoning about implications of text to predict later text has consistently been shown to improve LM performance on a variety of tasks, but methods for allowing LMs to learn from their reasoning (e.g., Zelikman et al., 2022) have focused on solving individual tasks or predefined sets of tasks (e.g., Wei et al., 2021). These works rely on carefully curated datasets to provide either specific reasoning tasks or in some cases, the reasoning itself. We instead ask, if reasoning is implicit in all text, why shouldn't we leverage the task of language modeling to teach reasoning?In particular, the Self-Taught Reasoner (STaR, Zelikman et al., 2022) showed that LMs can bootstrap their reasoning ability on question-answering (QA) datasets by sampling rationales to attempt to answer questions, training on rationales if they led to a correct final answer, and then repeating this to iteratively solve more difficult problems. Yet, training from curated QA datasets limits the scale and generalizability of the rationales. QA datasets, especially high-quality ones, require thoughtful curation and will inherently only ever cover a subset of reasoning tasks. Thus, we extend STaR - instead of the LM learning to reason on particular tasks like mathematical QA, we train an LM to generate reasoning that helps it infer future text from a large internet text corpus. As a result, we allow the LM to learn from the diverse tasks present in language (Weber et al., 2021). This builds on an intuition essential to the current language modeling paradigm, namely, that "language models are unsupervised multitask learners" (Radford et al., 2019). Thus, as in STaR, we leverage the LM's pre-existing reasoning ability to generate rationales and train the LM on them with a REINFORCE-based reward (Williams, 1992). We refer to this technique as Quiet-STaR, as it can be understood as applying STaR "quietly", training the model to think before it speaks.
텍스트의 의미의 대부분은 줄 사이에 숨겨져 있습니다. 문서에 문장이 나타나는 이유를 이해하지 못하면 독자는 피상적인 이해만 할 수 있습니다. 이는 상식 추론부터 정리 증명, 프로그래밍에 이르기까지 다양한 작업의 맥락에서 LMs에 대해서도 반복적으로 입증되었습니다(Wei et al., 2022; Nye et al., 2021; Zelikman et al., 2022; 2023; Kojima et al., 2022). 텍스트의 의미를 추론하여 이후 텍스트를 예측하는 것은 다양한 작업에서 LM 성능을 향상시키는 것으로 일관되게 나타났지만, LM이 추론을 통해 학습할 수 있도록 하는 방법(예: Zelikman et al., 2022)은 개별 작업 또는 사전 정의된 작업 집합(예: Wei et al., 2021)을 해결하는 데 초점을 맞추어 왔습니다. 이러한 작업은 특정 추론 과제를 제공하거나 경우에 따라 추론 자체를 제공하기 위해 신중하게 큐레이션된 데이터 세트에 의존합니다. 대신, 추론이 모든 텍스트에 내포되어 있다면 언어 모델링 작업을 활용하여 추론을 가르치지 않아야 하는 이유는 무엇일까요? 특히, Self-Taught Reasoner (STaR, Zelikman et al., 2022)는 질문에 답하기 위해 추론을 샘플링하고, 정답으로 이어지는 경우 추론에 대한 훈련을 수행한 다음, 이를 반복하여 더 어려운 문제를 해결함으로써 LM이 질문-답변(QA) 데이터 세트에서 추론 능력을 부트스트랩할 수 있음을 보여주었습니다. 그러나 큐레이션된 QA 데이터 세트에서 훈련하면 추론의 규모와 일반화 가능성이 제한됩니다. QA 데이터 세트, 특히 고품질의 데이터 세트는 신중한 큐레이션이 필요하며 본질적으로 추론 작업의 하위 집합만을 다룰 수 있습니다. 따라서 STaR을 확장하여 수학 QA와 같은 특정 작업에 대해 추론하는 대신, 대규모 인터넷 텍스트 코퍼스에서 미래의 텍스트를 유추하는 데 도움이 되는 추론을 생성하도록 LM을 훈련합니다. 그 결과, LM이 언어에 존재하는 다양한 작업에서 학습할 수 있도록 합니다. 이는 "언어 모델은 비지도 멀티태스크 학습자"라는 현재 언어 모델링 패러다임의 필수적인 직관을 기반으로 합니다(Radford et al., 2019). 따라서 STaR에서와 같이 LM의 기존 추론 능력을 활용하여 추론을 생성하고 이에 대해 REINFORCE 기반 보상(Williams, 1992)을 통해 훈련합니다. 이 기법을 Quiet-STaR이라고 부르는데, 이는 STaR을 "조용히" 적용하여 말하기 전에 생각하도록 모델을 훈련하는 것으로 이해할 수 있기 때문입니다.
텍스트의 의미의 대부분은 줄 사이에 숨겨져 있습니다. 문서에 문장이 나타나는 이유를 이해하지 못하면 독자는 피상적인 이해만 할 수 있습니다. 이는 상식 추론부터 정리 증명, 프로그래밍에 이르기까지 다양한 작업의 맥락에서 LMs에 대해서도 반복적으로 입증되었습니다(Wei et al., 2022; Nye et al., 2021; Zelikman et al., 2022; 2023; Kojima et al., 2022). 텍스트의 의미를 추론하여 이후 텍스트를 예측하는 것은 다양한 작업에서 LM 성능을 향상시키는 것으로 일관되게 나타났지만, LM이 추론을 통해 학습할 수 있도록 하는 방법(예: Zelikman et al., 2022)은 개별 작업 또는 사전 정의된 작업 집합(예: Wei et al., 2021)을 해결하는 데 초점을 맞추어 왔습니다. 이러한 작업은 특정 추론 과제를 제공하거나 경우에 따라 추론 자체를 제공하기 위해 신중하게 큐레이션된 데이터 세트에 의존합니다. 대신, 추론이 모든 텍스트에 내포되어 있다면 언어 모델링 작업을 활용하여 추론을 가르치지 않아야 하는 이유는 무엇일까요? 특히, 자기 학습 추론기(STaR, Zelikman et al., 2022)는 질문에 답하기 위해 추론을 샘플링하고, 정답으로 이어지는 경우 추론에 대한 훈련을 수행한 다음, 이를 반복하여 더 어려운 문제를 해결함으로써 LM이 질문-답변(QA) 데이터 세트에서 추론 능력을 부트스트랩할 수 있음을 보여주었습니다. 그러나 큐레이션된 QA 데이터 세트에서 훈련하면 추론의 규모와 일반화 가능성이 제한됩니다. QA 데이터 세트, 특히 고품질의 데이터 세트는 신중한 큐레이션이 필요하며 본질적으로 추론 작업의 하위 집합만을 다룰 수 있습니다. 따라서 STaR을 확장하여 수학 QA와 같은 특정 작업에 대해 추론하는 대신, 대규모 인터넷 텍스트 코퍼스에서 미래의 텍스트를 유추하는 데 도움이 되는 추론을 생성하도록 LM을 훈련합니다. 그 결과, LM이 언어에 존재하는 다양한 작업에서 학습할 수 있도록 합니다. 이는 "언어 모델은 비지도 멀티태스크 학습자"라는 현재 언어 모델링 패러다임의 필수적인 직관을 기반으로 합니다(Radford et al., 2019). 따라서 STaR에서와 같이 LM의 기존 추론 능력을 활용하여 추론을 생성하고 이에 대해 REINFORCE 기반 보상(Williams, 1992)을 통해 훈련합니다. 이 기법을 Quiet-STaR이라고 부르는데, 이는 STaR을 "조용히" 적용하여 말하기 전에 생각하도록 모델을 훈련하는 것으로 이해할 수 있기 때문입니다.