We use REINFORCE to optimize the likelihoods of the rationales based on their usefullness: the log-likelihood of the \(n_{true}\) true next tokens \(X_{j+1:j+n_{true}+1}\) under the language model given previous observed tokens and a particular rationale (\(p^{\text{talk}}_{j+n_{true}}\) as shorthand for the mixed prediction probabilities after thinking, see Algorithm 1). To reduce variance, we generate multiple rationale continuations for each token in the input sequence (loosely inspired by TRICE, Phan et al. (2023)).
우리는 REINFORCE를 사용하여 근거의 유용성에 기반한 가능성을 최적화합니다: 이전에 관찰된 토큰과 특정 근거가 주어졌을 때 언어 모델 하에서 \(n_{true}\)개의 실제 다음 토큰 \(X_{j+1:j+n_{true}+1}\)의 로그 가능성 (\(p^{\text{talk}}_{j+n_{true}}\)는 생각 후 혼합 예측 확률의 약어로, 알고리즘 1을 참조하십시오). 분산을 줄이기 위해, 입력 시퀀스의 각 토큰에 대해 여러 개의 근거 연속을 생성합니다 (TRICE, Phan et al. (2023)에서 느슨하게 영감을 받음).
우리는 REINFORCE를 사용하여 합리성의 유용성에 따라 합리화의 가능성을 최적화합니다: 이전에 관찰된 토큰과 특정 근거가 주어진 언어 모델 아래에서 \(n_{true}\) 참 차기 토큰 \(X_{j+1:j+n_{true}+1}\)의 로그 가능성(알고리즘 1에서 생각 후 혼합 예측 확률의 약어로 \(p^{\text{talk}}_{j+n_{true}}\))을 사용합니다. 분산을 줄이기 위해 입력 시퀀스의 각 토큰에 대해 여러 가지 근거 연속을 생성합니다(TRICE, Phan et al. (2023)에서 느슨하게 영감을 받았습니다).