In this subsection, we evaluate the extent to which Quiet-STaR improves the zero-shot reasoning capabilities of the language model on CommonsenseQA (Talmor et al., 2018) and GSM8K (Cobbe et al., 2021). On CommonsenseQA, we find that Quiet-STaR improves performance by 10.9% compared to the base language model. As shown in Figure 2, this improvement consistently increases with the number of tokens used in the model's rationales, indicating that more thorough reasoning through the thought tokens is translating to better direct question-answering performance. Similarly, on GSM8K, Quiet-STaR results in a 5.0% boost over the base model, and once again, performance scales with the length of the rationales generated during Quiet-STaR training. For reference, in Figure 2, we include a baseline corresponding to training the same model on the same dataset without thought tokens. We observe that in multiple curves, performance appears to eventually deteriorate - we anticipate that this is because we are not training on these downstream tasks, so the roles of the thought tokens may change over time. We also find a benefit of our non-myopic objective, which we discuss in Appendix D.
이 하위 섹션에서는 CommonsenseQA(Talmor et al., 2018)와 GSM8K(Cobbe et al., 2021)에서 Quiet-STaR이 언어 모델의 zero-shot 추론 기능을 향상시키는 정도를 평가합니다. CommonsenseQA에서 Quiet-STaR은 기본 언어 모델에 비해 성능을 10.9% 향상시키는 것으로 나타났습니다. 그림 2에서 볼 수 있듯이, 이러한 개선은 모델의 근거에 사용되는 토큰 수에 따라 지속적으로 증가하며, 이는 사고 토큰을 통해 보다 철저한 추론이 더 나은 직접 질문-답변 성능으로 이어지고 있음을 나타냅니다. 마찬가지로 GSM8K에서도 Quiet-STaR은 기본 모델보다 5.0% 향상되었으며, 다시 한 번 Quiet-STaR 훈련 중에 생성된 근거의 길이에 따라 성능이 확장됩니다. 참고로 그림 2에는 사고 토큰 없이 동일한 데이터 세트에 대해 동일한 모델을 훈련하는 baseline이 포함되어 있습니다. 여러 곡선에서 성능이 결국 악화되는 것으로 보이는데, 이는 downstream 작업에 대해 훈련하고 있지 않기 때문에 시간이 지남에 따라 사고 토큰의 역할이 바뀔 수 있기 때문일 것으로 예상됩니다. 또한 부록 D에서 설명하는 비근시적 objective의 이점도 발견했습니다.
이 하위 섹션에서는 CommonsenseQA(Talmor et al., 2018)와 GSM8K(Cobbe et al., 2021)에서 Quiet-STaR이 언어 모델의 제로 샷 추론 기능을 향상시키는 정도를 평가합니다. CommonsenseQA에서 Quiet-STaR은 기본 언어 모델에 비해 성능을 10.9% 향상시키는 것으로 나타났습니다. 그림 2에서 볼 수 있듯이, 이러한 개선은 모델의 근거에 사용되는 토큰 수에 따라 지속적으로 증가하며, 이는 사고 토큰을 통해 보다 철저한 추론이 더 나은 직접 질문-답변 성능으로 이어지고 있음을 나타냅니다. 마찬가지로 GSM8K에서도 Quiet-STaR은 기본 모델보다 5.0% 향상되었으며, 다시 한 번 Quiet-STaR 훈련 중에 생성된 근거의 길이에 따라 성능이 확장됩니다. 참고로 그림 2에는 사고 토큰 없이 동일한 데이터 세트에 대해 동일한 모델을 훈련하는 기준선이 포함되어 있습니다. 여러 곡선에서 성능이 결국 악화되는 것으로 보이는데, 이는 다운스트림 작업에 대해 훈련하고 있지 않기 때문에 시간이 지남에 따라 사고 토큰의 역할이 바뀔 수 있기 때문일 것으로 예상됩니다. 또한 부록 D에서 설명하는 비근시적 목표의 이점도 발견했습니다.