DPO's reward/KL tradeoff strictly dominates PPO. Second, DPO achieves a better frontier than PPO, _even when PPO can access ground truth rewards_ (PPO-GT).
DPO의 reward/KL tradeoff는 PPO를 엄격하게 지배합니다. 둘째, DPO는 PPO보다 더 나은 프론티어를 달성합니다(PPO-GT).
DPO의 보상/KL 트레이드오프는 PPO를 엄격하게 지배합니다. 둘째, DPO는 PPO보다 더 나은 프론티어를 달성합니다(PPO-GT).