Eq. (3) shows a simplified policy gradient formulation of process supervision (omitting some techniques like the KL penalty used for regularization (Schulman et al., 2017)). For a standard online RL process, the model samples a reasoning path for a question, and then the reward model is used to compute the reward for each step.
Eq. (3)은 프로세스 감독의 단순화된 policy gradient 공식(KL penalty와 같은 정규화에 사용되는 일부 기법 생략)을 보여준다. 표준 온라인 Reinforcement Learning (RL) 프로세스의 경우, 모델은 질문에 대한 추론 경로를 샘플링한 다음 reward 모델을 사용하여 각 단계에 대한 보상을 계산한다.
Eq. (3)은 프로세스 감독의 단순화된 정책 기울기 공식(정규화에 사용되는 KL 페널티와 같은 일부 기법 생략)을 보여준다. 표준 온라인 RL 프로세스의 경우, 모델은 질문에 대한 추론 경로를 샘플링한 다음 보상 모델을 사용하여 각 단계에 대한 보상을 계산한다.