Mixing HeadFor our mixing head, we use a three-layer MLP with ReLU activation, taking in a vector of two times the size of the hidden state of the language model (as we concatenate the two predictions to determine their weights), and outputting a scalar. This scalar is them used to weight the logits from the LM head with and without thinking to make a prediction from a given token.
Mixing Head를 위해, 우리는 ReLU 활성화 함수를 사용하는 3층 MLP를 사용합니다. 이 MLP는 언어 모델의 히든 상태 크기의 두 배에 해당하는 벡터를 입력으로 받아들이며 (두 예측을 연결하여 가중치를 결정하기 때문), 스칼라 값을 출력합니다. 이 스칼라 값은 주어진 토큰으로부터 예측을 하기 위해 생각을 포함한 LM 헤드와 생각을 포함하지 않은 LM 헤드의 로짓에 가중치를 부여하는 데 사용됩니다.
믹싱 헤드믹싱 헤드에는 언어 모델의 숨겨진 상태 크기의 두 배 크기의 벡터를 받아들이고(두 예측을 연결하여 가중치를 결정하기 때문에) 스칼라를 출력하는 ReLU 활성화 기능이 있는 3층 MLP를 사용합니다. 이 스칼라는 주어진 토큰에서 예측을 하기 위해 생각을 하거나 하지 않은 LM 헤드의 로짓에 가중치를 부여하는 데 사용됩니다.