We perform most of our experiments by training on OpenWebMath (Paster et al., 2023), a crawl that emphasizes more technical webpages. We selected OpenWebMath because we anticipated that it would have a higher density of tokens that benefit from reasoning, which our experiments support. We also evaluate Quiet-STaR on C4 (Raffel et al., 2020), a widely used LM pretraining corpus with more diverse text, and again show significant albeit smaller benefits.
우리는 대부분의 실험을 보다 기술적인 웹 페이지를 강조하는 크롤링인 OpenWebMath(Paster et al., 2023)에서 훈련하여 수행합니다. 우리는 추론의 이점이 있는 토큰의 밀도가 더 높을 것으로 예상했기 때문에 OpenWebMath를 선택했으며, 실험 결과 이를 뒷받침합니다. 또한 더 다양한 텍스트가 포함된 널리 사용되는 LM pretraining corpus인 C4(Raffel et al., 2020)에서 Quiet-STaR을 평가했으며, 실험 결과 소폭이지만 상당한 이점을 보여주었습니다.
우리는 대부분의 실험을 보다 기술적인 웹 페이지를 강조하는 크롤링인 OpenWebMath(Paster et al., 2023)에서 훈련하여 수행합니다. 우리는 추론의 이점이 있는 토큰의 밀도가 더 높을 것으로 예상했기 때문에 OpenWebMath를 선택했으며, 실험 결과 이를 뒷받침합니다. 또한 더 다양한 텍스트가 포함된 널리 사용되는 LM 사전 학습 코퍼스인 C4(Raffel et al., 2020)에서 Quiet-STaR을 평가했으며, 실험 결과 소폭이지만 상당한 이점을 보여주었습니다.