**Deriving the DPO objective.** We start with the same RL objective as prior work, Eq. 3, under a general reward function \(r\).
**DPO Objective 도출**. 일반적인 보상 함수 \(r\) 하에서 이전 작업과 동일한 RL Objective인 Eq. 3부터 시작합니다.
**DPO 목표 도출**. 일반적인 보상 함수 \(r\) 하에서 이전 작업과 동일한 RL 목표인 Eq. 3부터 시작합니다.