As visualized in Appendix Figure 7, we find that on average there is little improvement in the LM's ability to predict arbitrary tokens. But, when we visualize the distribution of relative improvements, there is a disproportionate improvement on more difficult tokens. This reflects the idea that some text tokens are substantially harder and benefit more from careful thought.
부록 그림 7에 시각화된 바와 같이, 평균적으로 LM의 임의 토큰 예측 능력에는 거의 개선이 없음을 발견했습니다. 그러나 상대적 개선의 분포를 시각화했을 때, 더 어려운 토큰에서 불균형적으로 큰 개선이 나타났습니다. 이는 일부 텍스트 토큰이 상당히 더 어렵고 신중한 사고로부터 더 많은 이점을 얻는다는 아이디어를 반영합니다.
부록 그림 7에 시각화된 것처럼, 평균적으로 임의의 토큰을 예측하는 LM의 능력은 거의 향상되지 않는 것으로 나타났습니다. 그러나 상대적 개선 분포를 시각화하면 더 어려운 토큰에 대한 불균형적인 개선이 나타납니다. 이는 일부 텍스트 토큰이 훨씬 더 어렵고 신중한 고려를 통해 더 많은 이점을 얻는다는 생각을 반영합니다.