Intuitively, not all tokens require equal amounts of thought. For example, consider the sentence "the person is run-": although there is inevitably some probability of the token being something other than "ing"2, as a standalone sentence without context, additional thinking is unlikely to improve a well-trained model's prediction. Indeed, we conjecture that for most chunks of most online text, additional thought has little to no impact. Indeed, early in our exploration we observed that Quiet-STaR does not benefit all tokens equally. Thus, we design our experiments to investigate whether our approach is useful in predicting tokens that _do_ require thought. We evaluate 1) whether Quiet-STaR improves a language model's ability to directly predict answers in datasets that require reasoning; and, 2) the distribution of impacts resulting from thinking tokens. We conduct all of our experiments starting with the base version of Mistral 7B (Jiang et al., 2023).
직관적으로, 모든 토큰이 동일한 양의 사고를 필요로 하는 것은 아닙니다. 예를 들어, "the person is run-"이라는 문장을 생각해보면, 이 토큰이 "ing"가 아닌 다른 것이 될 확률이 어느 정도 존재하더라도, 문맥이 없는 독립적인 문장으로서 추가적인 사고가 잘 훈련된 모델의 예측을 개선할 가능성은 낮습니다. 실제로, 대부분의 온라인 텍스트의 대부분의 청크에 대해 추가적인 사고는 거의 영향을 미치지 않는다고 추측합니다. 초기 탐색에서 Quiet-STaR가 모든 토큰에 동일하게 이득을 주지 않는다는 것을 관찰했습니다. 따라서, 우리는 사고가 필요한 토큰을 예측하는 데 우리의 접근 방식이 유용한지 조사하기 위해 실험을 설계했습니다. 우리는 1) Quiet-STaR가 추론이 필요한 데이터셋에서 언어 모델의 직접적인 답변 예측 능력을 향상시키는지 여부와, 2) 사고 토큰으로 인한 영향의 분포를 평가합니다. 모든 실험은 Mistral 7B의 기본 버전(Jiang et al., 2023)으로 시작합니다.
직관적으로 모든 토큰에 동일한 양의 생각이 필요한 것은 아닙니다. 예를 들어, "사람이 달리는 중입니다"라는 문장을 생각해 보세요: 토큰이 "ing"2가 아닌 다른 토큰일 확률은 있지만, 문맥이 없는 독립된 문장으로서 추가적인 생각이 잘 훈련된 모델의 예측을 개선할 가능성은 낮습니다. 실제로 대부분의 온라인 텍스트 덩어리에 대해 추가적인 생각은 거의 또는 전혀 영향을 미치지 않는다고 생각합니다. 실제로, 저희는 탐색 초기에 Quiet-STaR이 모든 토큰에 균등하게 도움이 되지 않는다는 것을 발견했습니다. 따라서 저희는 접근 방식이 _생각이 필요한_ 토큰을 예측하는 데 유용한지 조사하기 위해 실험을 설계했습니다. 1) 추론이 필요한 데이터 세트에서 Quiet-STaR이 언어 모델의 직접적인 답변 예측 능력을 향상시키는지, 2) 토큰을 생각한 결과의 영향 분포를 평가합니다. 모든 실험은 Mistral 7B(Jiang et al., 2023)의 기본 버전부터 수행합니다.