We can apply this reparameterization to the ground-truth reward \(r^{*}\) and corresponding optimal model \(\pi^{*}\). Fortunately, the Bradley-Terry model depends only on the difference of rewards between two completions, i.e., \(p^{*}(y_{1}\succ y_{2}\mid x)=\sigma(r^{*}(x,y_{1})-r^{*}(x,y_{2}))\). Substituting the reparameterization in Eq. 5 for \(r^{*}(x,y)\) into the preference model Eq. 1, the partition function cancels, and we can express the human preference probability in terms of only the optimal policy \(\pi^{*}\) and reference policy \(\pi_{\text{ref}}\).
이 재매개변수화를 실측 보상 \(r^{*}\) 및 해당 최적 모델 \(\pi^{*}\)에 적용할 수 있습니다. 다행히도 Bradley-Terry 모델은 두 가지 완료 간의 보상 차이, 즉 \(p^{*}(y_{1}\succ y_{2}\mid x)=\sigma(r^{*}(x,y_{1})-r^{*}(x,y_{2}))\)에만 의존합니다. 방정식 5의 재매개변수화를 \(r^{*}(x,y)\)에 대입하면 분할 함수가 상쇄되고, 인간의 선호도 확률을 최적 정책 \(\pi^{*}\)와 기준 정책 \(\pi_{\text{ref}}\)의 관점에서만 표현할 수 있습니다.
이 재매개변수화를 실측 보상 \(r^{*}\) 및 해당 최적 모델 \(\pi^{*}\)에 적용할 수 있습니다. 다행히도 브래들리-테리 모델은 두 가지 완료 간의 보상 차이, 즉 \(p^{*}(y_{1}\succ y_{2}\mid x)=\sigma(r^{*}(x,y_{1})-r^{*}(x,y_{2}))\)에만 의존합니다. 방정식 5의 재매개변수화를 \(r^{*}(x,y)\)에 대입하면 분할 함수가 상쇄되고, 인간의 선호도 확률을 최적 정책 \(\pi^{*}\)와 기준 정책 \(\pi_{\text{ref}}\)의 관점에서만 표현할 수 있습니다.