We can compare these improvements to those offered by pause tokens (Goyal et al., 2023), which can be seen as a constrained version of Quiet-STaR where each token is represented by two tokens and the second "pause" token acts as the entirety of the thought. In particular, our setup is most comparable to their pause token fine-tuning, as we also finetune a pretrained model. Their results indicate that pause token fine-tuning also provides minor gains over the base model on CommonsenseQA, they observed an improvement from 26.9% to 28.8%; on GSM8K, Goyal et al. (2023) found that pause token fine-tuning harms performance. Moreover, on both tasks (and the majority of their evaluated tasks), they observed that additional thought tokens harmed performance. Moreover, they discuss the "lukewarm effect of pause-finetuning a standard-pretrained model" (Goyal et al., 2023). This suggests that allowing the model to generate multi-token rationales leads to more effective reasoning compared to the single-token "pauses". Note however, that unlike Goyal et al. (2023), we _do not fine-tune_ on the downstream tasks.
이러한 개선 사항을 일시 중지 토큰(Goyal et al., 2023)이 제공하는 개선 사항과 비교할 수 있으며, 이는 각 토큰이 두 개의 토큰으로 표시되고 두 번째 "일시 중지" 토큰이 생각의 전체 역할을 하는 제한된 버전의 Quiet-STaR로 볼 수 있습니다. 특히, 저희의 설정은 사전 학습된 모델을 Fine-tuning하기 때문에 일시 중지 토큰 Fine-tuning과 가장 유사합니다. 그들의 결과에 따르면 일시 중지 토큰 Fine-tuning은 CommonsenseQA에서 기본 모델에 비해 약간의 이득을 제공하며, 26.9%에서 28.8%로 개선된 것으로 관찰되었고, GSM8K에서 Goyal et al. (2023)은 일시 중지 토큰 Fine-tuning이 성능에 해를 끼친다는 것을 발견했습니다. 또한 두 작업(그리고 평가된 대부분의 작업)에서 추가 사고 토큰이 성능에 해를 끼친다는 것을 관찰했습니다. 또한, 그들은 "표준 사전 학습 모델을 일시 정지하는 Fine-tuning의 미지근한 효과"(Goyal et al., 2023)에 대해 논의합니다. 이는 모델이 여러 토큰의 근거를 생성하도록 허용하는 것이 단일 토큰의 '일시 정지'에 비해 더 효과적인 추론으로 이어진다는 것을 시사합니다. 그러나 Goyal et al. (2023)과 달리, 우리는 다운스트림 작업에 대해 _Fine-tuning하지 않는다는 점에 유의하세요.
이러한 개선 사항을 일시 중지 토큰(Goyal et al., 2023)이 제공하는 개선 사항과 비교할 수 있으며, 이는 각 토큰이 두 개의 토큰으로 표시되고 두 번째 "일시 중지" 토큰이 생각의 전체 역할을 하는 제한된 버전의 Quiet-STaR로 볼 수 있습니다. 특히, 저희의 설정은 사전 학습된 모델을 미세 조정하기 때문에 일시 중지 토큰 미세 조정과 가장 유사합니다. 그들의 결과에 따르면 일시 중지 토큰 미세 조정은 CommonsenseQA에서 기본 모델에 비해 약간의 이득을 제공하며, 26.9%에서 28.8%로 개선된 것으로 관찰되었고, GSM8K에서 Goyal et al. (2023)은 일시 중지 토큰 미세 조정이 성능에 해를 끼친다는 것을 발견했습니다. 또한 두 작업(그리고 평가된 대부분의 작업)에서 추가 사고 토큰이 성능에 해를 끼친다는 것을 관찰했습니다. 또한, 그들은 "표준 사전 학습 모델을 일시 정지하는 미세 조정의 미지근한 효과"(Goyal et al., 2023)에 대해 논의합니다. 이는 모델이 여러 토큰의 근거를 생성하도록 허용하는 것이 단일 토큰의 '일시 정지'에 비해 더 효과적인 추론으로 이어진다는 것을 시사합니다. 그러나 Goyal et al. (2023)과 달리, 우리는 다운스트림 작업에 대해 _미세 조정하지 않는다는 점에 유의하세요.