1. **Parallel rationale generation (think, Subsection 4.2)**: In parallel across \(n\) tokens \(x_{i}\) in an input sequence \(x_{0:n}\), we generate \(r\) rationales of length \(t\): \(c_{i}=(c_{i1},\dots,c_{it})\), resulting in \(n\times r\) rationale candidates. We insert learned \(<\)\(\mid\)start\(\mid\)\(>\) and \(<\)\(\mid\)end\(\mid\)\(>\) tokens to mark each rationale's start and end. 2. **Mixing post-rationale and base predictions (talk, Subsection 4.3)**: From the hidden state output after each rationale, we train a "mixing head" - a shallow MLP producing a weight determining how much the post-rationale next-token predicted logits should be incorporated compared to the base language model predicted logits. This approach eases distribution shift early in finetuning, due to introducing rationales. 3. **Optimizing rationale generation (learn, Subsection 4.4)**: We optimize the rationale generation parameters (start/end tokens and LM weights) to increase the likelihood of rationales that make future text more probable. We use REINFORCE to provide a learning signal to rationales based on their impact on future-token prediction. To reduce variance, we apply a teacher-forcing trick to include in the loss the likelihood of predicting not only the token after the thought but also later tokens.
1. **병렬 근거 생성(4.2절 참조)**: 입력 시퀀스 \(x_{0:n}\)의 \(n\) 토큰 \(x_{i}\)에 대해 병렬적으로 길이 \(t\)의 \(r\) 근거를 생성합니다: \(c_{i}=(c_{i1},\dots,c_{it})\), 결과적으로 \(n\times r\)의 근거 후보가 생성됩니다. 학습된 \(<\)\(\mid\)start\(\mid\)\(>\) 및 \(<\)\(\mid\)end\(\mid\)\(>\) 토큰을 삽입하여 각 근거의 시작과 끝을 표시합니다. 2. **사후 근거와 기본 예측 혼합(4.3절)**: 각 근거 뒤의 숨겨진 상태 출력에서, 사후 근거 다음 토큰 예측 로짓과 기본 언어 모델 예측 로짓을 비교하여 얼마나 많이 통합해야 하는지를 결정하는 가중치를 생성하는 얕은 MLP인 "믹싱 헤드"를 훈련합니다. 이 접근 방식은 근거를 도입하기 때문에 Fine-tuning 초기에 분포 이동을 쉽게 해줍니다. 3. **근거 생성 최적화(4.4절)**: 근거 생성 매개변수(시작/끝 토큰 및 LM 가중치)를 최적화하여 미래 텍스트의 가능성을 높이는 근거의 가능성을 높입니다. 향후 토큰 예측에 미치는 영향을 기반으로 근거에 학습 신호를 제공하기 위해 REINFORCE를 사용합니다. 분산을 줄이기 위해 교사 강제 트릭을 적용하여 생각 뒤의 토큰뿐만 아니라 이후 토큰을 예측할 가능성을 손실에 포함시킵니다.
1. **병렬 근거 생성(4.2절 참조)**: 입력 시퀀스 \(x_{0:n}\)의 \(n\) 토큰 \(x_{i}\)에 대해 병렬적으로 길이 \(t\)의 \(r\) 근거를 생성합니다: \(c_{i}=(c_{i1},\dots,c_{it})\), 결과적으로 \(n\times r\)의 근거 후보가 생성됩니다. 학습된 \(<\)\(\mid\)start\(\mid\)\(>\) 및 \(<\)\(\mid\)end\(\mid\)\(>\) 토큰을 삽입하여 각 근거의 시작과 끝을 표시합니다. 2. **사후 근거와 기본 예측 혼합(4.3절)**: 각 근거 뒤의 숨겨진 상태 출력에서, 사후 근거 다음 토큰 예측 로짓과 기본 언어 모델 예측 로짓을 비교하여 얼마나 많이 통합해야 하는지를 결정하는 가중치를 생성하는 얕은 MLP인 "믹싱 헤드"를 훈련합니다. 이 접근 방식은 근거를 도입하기 때문에 미세 조정 초기에 분포 이동을 쉽게 해줍니다. 3. **근거 생성 최적화(4.4절)**: 근거 생성 매개변수(시작/끝 토큰 및 LM 가중치)를 최적화하여 미래 텍스트의 가능성을 높이는 근거의 가능성을 높입니다. 향후 토큰 예측에 미치는 영향을 기반으로 근거에 학습 신호를 제공하기 위해 REINFORCE를 사용합니다. 분산을 줄이기 위해 교사 강제 트릭을 적용하여 생각 뒤의 토큰뿐만 아니라 이후 토큰을 예측할 가능성을 손실에 포함시킵니다.