When starting with a pre-trained model, thoughts will initially be out of distribution, and hence harm language modeling performance. To smooth the transition to thinking, we introduce a learned interpolation between the LM predictions with and without thoughts. Given the end-of-thought token's hidden state and the hidden state of the original text token, the mixing head outputs a weight that determines the extent to which the post-thought prediction logits will be used. We use a shallow multi-layer perceptron for this head, outputting a scalar for each token. We include implementation details in Appendix A.
사전 학습된 모델로 시작할 때, 처음에는 생각이 분포 밖에 있기 때문에 언어 모델링 성능에 해를 끼칠 수 있습니다. 생각으로 전환하는 과정을 원활하게 하기 위해, 우리는 생각이 있는 경우와 없는 경우의 LM 예측 사이에 학습된 interpolation을 도입합니다. 생각의 끝 토큰의 hidden state와 원본 텍스트 토큰의 hidden state가 주어지면, mixing head는 생각 후 예측 logits가 사용될 정도를 결정하는 가중치를 출력합니다. 이 head에는 얕은 multi-layer perceptron을 사용하여 각 토큰에 대해 스칼라를 출력합니다. 구현 세부 사항은 부록 A에 나와 있습니다.
사전 학습된 모델로 시작할 때, 처음에는 생각이 분포 밖에 있기 때문에 언어 모델링 성능에 해를 끼칠 수 있습니다. 생각으로 전환하는 과정을 원활하게 하기 위해, 우리는 생각이 있는 경우와 없는 경우의 LM 예측 사이에 학습된 보간을 도입합니다. 생각의 끝 토큰의 숨겨진 상태와 원본 텍스트 토큰의 숨겨진 상태가 주어지면, 믹싱 헤드는 생각 후 예측 로지스가 사용될 정도를 결정하는 가중치를 출력합니다. 이 헤드에는 얕은 다층 퍼셉트론을 사용하여 각 토큰에 대해 스칼라를 출력합니다. 구현 세부 사항은 부록 A에 나와 있습니다.