We perform a simple ablation on our 12-thought-token-4-ahead baseline, namely asking whether sampling multiple thoughts per sequence is necessary. We find that although simply computing the reward as the difference between the losses with and without thought proves to be a strong baseline, using multiple thoughts consistently outperformed it (by roughly 0.5% on GSM8K generalization and 3% on CommonsenseQA generalization). However, the exact number of thoughts had little impact: varying between 2, 3, and 4 thoughts per sequence appeared to result in a consistent improvement with additionalthoughts, but additional thoughts per sequence beyond two improved performance by only 0.1-0.3% on both GSM8K and CommonsenseQA. Similarly, we found that predicting more than one token ahead helped by 0.3% on GSM8K and 3.1% on CommonsenseQA, but with 12-thought-tokens, we did not find that additional tokens ahead, beyond two, improved performance. However, qualitatively, we found that the rationales appeared more coherent with additional tokens-ahead of supervision. This suggests a need for more specific evaluations of generation quality in future work.
12-thought-token-4-ahead baseline에 대해 간단한 ablation, 즉 시퀀스당 여러 개의 생각을 샘플링해야 하는지 여부를 묻는 실험을 수행했습니다. 단순히 생각을 했을 때와 하지 않았을 때의 Loss 차이로 보상을 계산하는 것이 강력한 baseline임을 증명했지만, 여러 가지 생각을 사용하는 것이 일관되게 이를 능가했습니다(GSM8K generalization에서는 약 0.5%, CommonsenseQA generalization에서는 3% 더 높았습니다). 그러나 정확한 생각의 수는 거의 영향을 미치지 않았습니다. 시퀀스당 2, 3, 4개의 생각 사이를 변화시키면 추가 생각에 따라 일관된 개선 효과가 나타났지만, 시퀀스당 2개 이상의 생각은 GSM8K와 CommonsenseQA 모두에서 성능이 0.1~0.3%만 향상되었습니다. 마찬가지로, 1개 이상의 token을 앞으로 예측하는 것이 GSM8K에서는 0.3%, CommonsenseQA에서는 3.1%의 도움이 되는 것을 발견했지만, 12-thought-tokens을 사용했을 때 2개 이상의 token을 앞으로 예측해도 성능이 향상되지 않는 것을 발견했습니다. 그러나 질적으로는 추가 token을 앞두고 있을 때 근거가 더 일관성 있게 보이는 것을 발견했습니다. 이는 향후 작업에서 generation 품질에 대한 보다 구체적인 평가가 필요함을 시사합니다.
12개의 생각 토큰-4-앞 기준선에 대해 간단한 절제, 즉 시퀀스당 여러 개의 생각을 샘플링해야 하는지 여부를 묻는 실험을 수행했습니다. 단순히 생각을 했을 때와 하지 않았을 때의 손실 차이로 보상을 계산하는 것이 강력한 기준선임을 증명했지만, 여러 가지 생각을 사용하는 것이 일관되게 이를 능가했습니다(GSM8K 일반화에서는 약 0.5%, 상식QA 일반화에서는 3% 더 높았습니다). 그러나 정확한 생각의 수는 거의 영향을 미치지 않았습니다. 시퀀스당 2, 3, 4개의 생각 사이를 변화시키면 추가 생각에 따라 일관된 개선 효과가 나타났지만, 시퀀스당 2개 이상의 생각은 GSM8K와 CommonsenseQA 모두에서 성능이 0.1~0.3%만 향상되었습니다. 마찬가지로, 1개 이상의 토큰을 앞으로 예측하는 것이 GSM8K에서는 0.3%, CommonsenseQA에서는 3.1%의 도움이 되는 것을 발견했지만, 12개의 생각 토큰을 사용했을 때 2개 이상의 토큰을 앞으로 예측해도 성능이 향상되지 않는 것을 발견했습니다. 그러나 질적으로는 추가 토큰을 앞두고 있을 때 근거가 더 일관성 있게 보이는 것을 발견했습니다. 이는 향후 작업에서 생성 품질에 대한 보다 구체적인 평가가 필요함을 시사합니다.