We find that training with Quiet-STaR on C4 (Raffel et al., 2020) also improves performance on GSM8K (5.9% \(\rightarrow\) 8.1%) and CommonsenseQA (36.3% \(\rightarrow\) 42.6%) but by a smaller margin. Specifically, for our C4 evaluation, we train Mistral 7B with 16 thought tokens and 4 true tokens ahead and otherwise the same setup.
C4(Raffel et al., 2020)에서 Quiet-STaR로 훈련하면 GSM8K(5.9% \(\rightarrow\) 8.1%)와 CommonsenseQA(36.3% \(\rightarrow\) 42.6%)에서도 성능이 향상되는 것을 발견했지만, 그 차이는 더 작았습니다. 구체적으로, C4 평가를 위해 16개의 thought tokens과 4개의 true tokens을 앞두고 다른 설정은 동일하게 Mistral 7B를 훈련합니다.
C4(Raffel et al., 2020)에서 Quiet-STaR로 훈련하면 GSM8K(5.9% \(\rightarrow\) 8.1%)와 CommonsenseQA(36.3% \(\rightarrow\) 42.6%)에서도 성능이 향상되는 것을 발견했지만, 그 차이는 더 작았습니다. 구체적으로, C4 평가를 위해 16개의 생각 토큰과 4개의 진실 토큰을 앞두고 다른 설정은 동일하게 Mistral 7B를 훈련합니다.