This is the same objective optimized in prior works [49; 38; 1; 26] using the DPO-equivalent reward for the reward class of \(r_{\phi}\). In this setting, we can interpret the normalization term in \(f(r_{\phi},\pi_{\text{ref}},\beta)\) as the soft value function of the reference policy \(\pi_{\text{ref}}\). While this term does not affect the optimal solution, without it, the policy gradient of the objective could have high variance, making learning unstable. We can accommodate for the normalization term using a learned value function, but that can also be difficult to optimize. Alternatively, prior works have normalized rewards using a human completion baseline, essentially a single sample Monte-Carlo estimate of the normalizing term. In contrast the DPO reparameterization yields a reward function that does not require any baselines.
이것은 보상 클래스 \(r_{\phi}\)에 대해 DPO-equivalent 보상을 사용하여 이전 작업 [49; 38; 1; 26]에서 최적화한 것과 동일한 목표입니다. 이 설정에서 \(f(r_{\phi},\pi_{\text{ref}},\beta)\)의 정규화 항을 기준 정책 \(\pi_{\text{ref}}\)의 soft value function으로 해석할 수 있습니다. 이 항은 최적 해에 영향을 미치지 않지만, 이 항이 없으면 objective의 policy gradient가 높은 분산을 가질 수 있어 학습이 불안정해질 수 있습니다. 학습된 value function을 사용하여 정규화 항을 수용할 수도 있지만, 이 역시 최적화하기 어려울 수 있습니다. 또는 이전 연구에서는 인간 완료 baseline을 사용하여 보상을 정규화했는데, 이는 본질적으로 정규화 항에 대한 단일 샘플 Monte-Carlo 추정치입니다. 반면, DPO reparameterization은 baseline이 필요 없는 보상 함수를 산출합니다.
이것은 보상 클래스 \(r_{\phi}\)에 대해 DPO에 해당하는 보상을 사용하여 이전 작업 [49; 38; 1; 26]에서 최적화한 것과 동일한 목표입니다. 이 설정에서 \(f(r_{\phi},\pi_{\text{ref}},\beta)\)의 정규화 항을 기준 정책 \(\pi_{\text{ref}}\)의 소프트 값 함수로 해석할 수 있습니다. 이 항은 최적 해에 영향을 미치지 않지만, 이 항이 없으면 목적의 정책 기울기가 높은 분산을 가질 수 있어 학습이 불안정해질 수 있습니다. 학습된 값 함수를 사용하여 정규화 항을 수용할 수도 있지만, 이 역시 최적화하기 어려울 수 있습니다. 또는 이전 연구에서는 인간 완료 기준선을 사용하여 보상을 정규화했는데, 이는 본질적으로 정규화 항에 대한 단일 샘플 몬테카를로 추정치입니다. 반면, DPO 재매개변화는 베이스라인이 필요 없는 보상 함수를 산출합니다.