Quiet-STaR results in a substantial overhead, generating many tokens before generating every additional token. (See Appendix C for compute adjusted performance results.) However, this can also be seen as an advantage: typically, a language model can generate the next token based on the current context, and while there are techniques to improve sampling quality, there is no general way to leverage additional compute to enhance next-token prediction. In the current implementation we do not support dynamically predicting when to generate, or end, a rationale. However, this would be a natural extension. For instance, if the mixing head was a prediction from the base language model, before any thought, rather than after the thought, one could apply a threshold to prevent generating thoughts that would not be incorporated. We expect that this is a more difficult task, as predicting the usefulness of a thought is simpler when one has already generated the thought.
Quiet-STaR은 추가 토큰을 생성하기 전에 많은 토큰을 생성하여 상당한 오버헤드를 초래합니다. (compute 조정 성능 결과는 부록 C 참조.) 그러나 이는 일반적으로 언어 모델이 현재 문맥에 따라 다음 토큰을 생성할 수 있으며, 샘플링 품질을 개선하는 기술이 있지만 추가 compute를 활용하여 다음 토큰 예측을 향상시킬 수 있는 일반적인 방법이 없다는 점에서 장점으로 볼 수도 있습니다. 현재 구현에서는 근거를 생성할 시기를 동적으로 예측하거나 근거를 종료하는 것을 지원하지 않습니다. 그러나 이는 자연스러운 확장이 될 것입니다. 예를 들어, mixing head가 생각을 한 후가 아니라 생각을 하기 전에 기본 언어 모델의 예측이라면 임계값을 적용하여 통합되지 않는 생각을 생성하지 않도록 할 수 있습니다. 생각을 이미 생성했을 때 생각의 유용성을 예측하는 것이 더 간단하기 때문에 이 작업은 더 어려운 작업이 될 것으로 예상합니다.
Quiet-STaR은 추가 토큰을 생성하기 전에 많은 토큰을 생성하여 상당한 오버헤드를 초래합니다. (계산 조정 성능 결과는 부록 C 참조.) 그러나 이는 일반적으로 언어 모델이 현재 문맥에 따라 다음 토큰을 생성할 수 있으며, 샘플링 품질을 개선하는 기술이 있지만 추가 계산을 활용하여 다음 토큰 예측을 향상시킬 수 있는 일반적인 방법이 없다는 점에서 장점으로 볼 수도 있습니다. 현재 구현에서는 근거를 생성할 시기를 동적으로 예측하거나 근거를 종료하는 것을 지원하지 않습니다. 그러나 이는 자연스러운 확장이 될 것입니다. 예를 들어, 혼합 헤드가 생각을 한 후가 아니라 생각을 하기 전에 기본 언어 모델의 예측이라면 임계값을 적용하여 통합되지 않는 생각을 생성하지 않도록 할 수 있습니다. 생각을 이미 생성했을 때 생각의 유용성을 예측하는 것이 더 간단하기 때문에 이 작업은 더 어려운 작업이 될 것으로 예상합니다.