Broadly, Quiet-STaR proceeds by generating rationales after every token to explain future text (_think_), mixing the future-text predictions with and without rationales (_talk_), and then learning to generate better rationales using REINFORCE (_learn_). We apply Quiet-STaR to Mistral 7B (Jiang et al., 2023) using the web text datasets OpenWebMath (Paster et al., 2023) and Colossal Clean Crawled Corpus (C4, Raffel et al., 2020). We find that, even without dataset-specific fine-tuning, Quiet-STaR results in improvements to zero-shot direct-reasoning abilities on CommonsenseQA (36.3%\(\rightarrow\)47.2%) and GSM8K (5.9%\(\rightarrow\)10.9%), and that these improvements consistently increase with the number of tokens used in the LM's internal thoughts. Lastly, we qualitatively investigate patterns in the generated rationales.
일반적으로 Quiet-STaR은 모든 토큰이 생성된 후 미래 텍스트(_생각_)를 설명하는 근거를 생성하고, 미래 텍스트 예측과 근거가 있는(_말_) 및 없는(_말_)을 혼합한 다음, REINFORCE(_학습_)를 사용하여 더 나은 근거를 생성하는 방법으로 진행됩니다. 웹 텍스트 데이터 세트인 OpenWebMath(Paster et al., 2023)와 Colossal Clean Crawled Corpus(C4, Raffel et al., 2020)를 사용하여 Mistral 7B(Jiang et al., 2023)에 Quiet-STaR을 적용했습니다. 데이터 세트별 Fine-tuning 없이도 CommonsenseQA(36.3%\(\rightarrow\)47.2%)와 GSM8K(5.9%\(\rightarrow\)10.9%)에서 zero-shot 직접 추론 능력이 향상되며, 이러한 향상은 LM의 내부 사고에 사용되는 토큰 수에 따라 지속적으로 증가한다는 것을 발견했습니다. 마지막으로 생성된 근거의 패턴을 정성적으로 조사합니다.
일반적으로 Quiet-STaR은 모든 토큰이 생성된 후 미래 텍스트(_생각_)를 설명하는 근거를 생성하고, 미래 텍스트 예측과 근거가 있는(_말_) 및 없는(_말_)을 혼합한 다음, REINFORCE(_학습_)를 사용하여 더 나은 근거를 생성하는 방법으로 진행됩니다. 웹 텍스트 데이터 세트인 OpenWebMath(Paster et al., 2023)와 Colossal Clean Crawled Corpus(C4, Raffel et al., 2020)를 사용하여 Mistral 7B(Jiang et al., 2023)에 Quiet-STaR을 적용했습니다. 데이터 세트별 미세 조정 없이도 CommonsenseQA(36.3%\(\우측수렴\)47.2%)와 GSM8K(5.9%\(\우측수렴\)10.9%)에서 0-shot 직접 추론 능력이 향상되며, 이러한 향상은 LM의 내부 사고에 사용되는 토큰 수에 따라 지속적으로 증가한다는 것을 발견했습니다. 마지막으로 생성된 근거의 패턴을 정성적으로 조사합니다.