Figure 2: **Left.** The frontier of expected reward vs KL to the reference policy. DPO provides the highest expected reward for all KL values, demonstrating the quality of the optimization. **Right.** TL;DR summarization win rates vs. human-written summaries, using GPT-4 as evaluator. DPO exceeds PPO’s best-case performance on summarization, while being more robust to changes in the sampling temperature.
그림 2: **왼쪽.** 기대 보상 대 기준 정책의 KL의 경계. DPO는 모든 KL 값에 대해 가장 높은 기대 보상을 제공하여 optimization의 품질을 보여줍니다. **오른쪽.** TL;DR 요약률 대 사람이 작성한 요약, GPT-4를 evaluator로 사용. DPO는 요약에 대한 PPO의 최적 성능을 초과하는 동시에 샘플링 온도 변화에 더 robust합니다.
그림 2: **왼쪽.** 기대 보상 대 기준 정책의 KL의 경계. DPO는 모든 KL 값에 대해 가장 높은 기대 보상을 제공하여 최적화의 품질을 보여줍니다. **오른쪽.** TL;DR 요약률 대 사람이 작성한 요약, GPT-4를 평가자로 사용. DPO는 요약에 대한 PPO의 최적 성능을 초과하는 동시에 샘플링 온도 변화에 더 강력합니다.