DPO is able to bypass both fitting an explicit reward and performing RL to learn the policy using a single maximum likelihood objective. Note the optimization objective Eq. 5 is equivalent to a Bradley-Terry model with a reward parameterization \(r^{*}(x,y)=\beta\log\frac{\pi_{\theta}^{*}(y|x)}{\pi_{\text{ref}}(y|x)}\) and we optimize our parametric model \(\pi_{\theta}\), equivalently to the reward model optimization in Eq. 2 under the change of variables. In this section we will build the theory behind this reparameterization, show that it does not constrain the class of learned reward models, and allows for the exact recovery of the optimal policy. We begin with by defining an equivalence relation between reward functions.
DPO는 명시적인 보상을 맞추고 Reinforcement Learning (RL)을 수행하여 정책을 학습하는 것을 모두 우회할 수 있으며, 단일 최대 가능성 Objective를 사용하여 정책을 학습할 수 있습니다. 최적화 목적식 5는 보상 매개변수화 \(r^{*}(x,y)=\beta\log\frac{\pi_{\theta}^{*}(y|x)}{\pi_{\text{ref}}(y|x)}\)를 사용하여 Bradley-Terry 모델과 동일하며, 변수 변경 하에서 방정식 2의 보상 모델 최적화와 동일하게 파라메트릭 모델 \(\pi_{\theta}\)를 최적화합니다. 이 섹션에서는 이 재매개변수화의 이론을 구축하고, 이것이 학습된 보상 모델의 클래스를 제약하지 않으며 최적의 정책을 정확하게 복구할 수 있음을 보여드리겠습니다. 먼저 보상 함수 간의 등가 관계를 정의하는 것으로 시작하겠습니다.
DPO는 명시적인 보상을 맞추고 RL을 수행하여 정책을 학습하는 것을 모두 우회할 수 있으며, 단일 최대 가능성 목표를 사용하여 정책을 학습할 수 있습니다. 최적화 목적식 5는 보상 매개변수화 \(r^{*}(x,y)=\beta\log\frac{\pi_{\theta}^{*}(y|x)}{\pi_{\text{ref}}(y|x)}\)를 사용하여 Bradley-Terry 모델과 동일하며, 변수 변경 하에서 방정식 2의 보상 모델 최적화와 동일하게 파라메트릭 모델 \(\pi_{\theta}\)를 최적화합니다. 이 섹션에서는 이 재매개변수화의 이론을 구축하고, 이것이 학습된 보상 모델의 클래스를 제약하지 않으며 최적의 정책을 정확하게 복구할 수 있음을 보여드리겠습니다. 먼저 보상 함수 간의 등가 관계를 정의하는 것으로 시작하겠습니다.