This way, we fit an implicit reward using an alternative parameterization, whose optimal policy is simply \(\pi_{\theta}\). Moreover, since our procedure is equivalent to fitting a reparametrized Bradley-Terrymodel, it enjoys certain theoretical properties, such as consistencies under suitable assumption of the preference data distribution [4]. In Section 5, we further discuss theoretical properties of DPO in relation to other works.
이렇게 하면, 최적의 정책이 단순히 \(\pi_{\theta}\)인 대체 parameterization을 사용하여 암시적 보상에 맞출 수 있습니다. 또한, 우리의 절차는 reparametrized Bradley-Terry model을 맞추는 것과 동일하기 때문에 선호도 데이터 분포 [4]의 적절한 가정 하에서 일관성과 같은 특정 이론적 속성을 갖습니다. 섹션 5에서는 다른 작업과 관련하여 DPO의 이론적 속성에 대해 자세히 논의합니다.
이렇게 하면, 최적의 정책이 단순히 \(\pi_{\theta}\)인 대체 파라미터화를 사용하여 암시적 보상에 맞출 수 있습니다. 또한, 우리의 절차는 재매개변수화된 브래들리-테리 모델을 맞추는 것과 동일하기 때문에 선호도 데이터 분포 [4]의 적절한 가정 하에서 일관성과 같은 특정 이론적 속성을 갖습니다. 섹션 5에서는 다른 작업과 관련하여 DPO의 이론적 속성에 대해 자세히 논의합니다.