This loss term encourages the model to generate rationales that improve its predictions of future tokens compared to the average prediction across all generated rationales for that token. The gradients from this loss are used to update both the LM parameters and the start-of-thought and end-of-thought token embeddings, with a (hyperparameter) weight applied to the gradients of the start-of-thought and end-of-thought token embeddings to accelerate their optimization. By iteratively optimizing these parameters, Quiet-STaR trains the model to generate more useful rationales throughout training. Lastly, we also include a log-likelihood loss, \(\mathcal{L}^{\text{NLL}}_{j}\), to ensure that the LM learns to optimize the talking heads and also receives a next-token prediction signal for the base LM head1.
이 손실 항은 모델이 해당 토큰에 대해 생성된 모든 합리에서 평균 예측에 비해 미래 토큰에 대한 예측을 개선하는 근거를 생성하도록 장려합니다. 이 손실의 기울기는 LM 파라미터와 시작-끝 토큰 임베딩을 모두 업데이트하는 데 사용되며, 시작-끝 토큰 임베딩의 기울기에 (하이퍼파라미터) 가중치를 적용하여 optimization을 가속화합니다. 이러한 파라미터를 반복적으로 최적화함으로써 Quiet-STaR은 훈련 전반에 걸쳐 더 유용한 근거를 생성하도록 모델을 훈련합니다. 마지막으로, 대화 헤드를 최적화하도록 LM이 학습하고 기본 LM 헤드1에 대한 다음 토큰 예측 신호도 수신하도록 로그-확률 loss (\(\mathcal{L}^{\text{NLL}}_{j}\),도 포함합니다.
이 손실 항은 모델이 해당 토큰에 대해 생성된 모든 합리에서 평균 예측에 비해 미래 토큰에 대한 예측을 개선하는 근거를 생성하도록 장려합니다. 이 손실의 기울기는 LM 파라미터와 시작-끝 토큰 임베딩을 모두 업데이트하는 데 사용되며, 시작-끝 토큰 임베딩의 기울기에 (하이퍼파라미터) 가중치를 적용하여 최적화를 가속화합니다. 이러한 파라미터를 반복적으로 최적화함으로써 Quiet-STaR은 훈련 전반에 걸쳐 더 유용한 근거를 생성하도록 모델을 훈련합니다. 마지막으로, 대화 헤드를 최적화하도록 LM이 학습하고 기본 LM 헤드1에 대한 다음 토큰 예측 신호도 수신하도록 로그-확률 손실(\mathcal{L}^{\text{NLL}}_{j}\),도 포함합니다.