In this section, we empirically evaluate DPO's ability to train policies directly from preferences. First, in a well-controlled text-generation setting, we ask: how efficiently does DPO trade off maximizing reward and minimizing KL-divergence with the reference policy, compared to common preference learning algorithms such as PPO? Next, we evaluate DPO's performance on larger models and more difficult RLHF tasks, including summarization and dialogue. We find that with almost no tuning of hyperparameters, DPO tends to perform as well or better than strong baselines like RLHF with PPO as well as returning the best of \(N\) sampled trajectories under a learned reward function. Before presenting these results, we describe the experimental set-up; additional details are in Appendix C.
이 섹션에서는 선호도에서 직접 정책을 훈련하는 DPO의 기능을 경험적으로 평가합니다. 먼저, 잘 제어된 텍스트 생성 환경에서 DPO가 일반적인 선호도 학습 알고리즘(예: PPO)과 비교하여 보상을 최대화하고 참조 정책과의 KL-divergence를 최소화하는 데 얼마나 효율적으로 거래하는지 묻습니다. 다음으로, 요약 및 대화를 포함한 더 큰 모델과 더 어려운 Reinforcement Learning from Human Feedback (RLHF) 작업에서 DPO의 성능을 평가합니다. 하이퍼파라미터를 거의 조정하지 않아도 DPO는 학습된 보상 함수에서 \(N\)개의 샘플링된 궤적 중 가장 좋은 성능을 반환하는 PPO를 사용한 RLHF와 같은 강력한 기준보다 더 나은 성능을 발휘하는 경향이 있음을 발견했습니다. 이러한 결과를 제시하기 전에 실험 설정에 대해 설명하며, 자세한 내용은 부록 C에 나와 있습니다.
이 섹션에서는 선호도에서 직접 정책을 훈련하는 DPO의 기능을 경험적으로 평가합니다. 먼저, 잘 제어된 텍스트 생성 환경에서 DPO가 일반적인 선호도 학습 알고리즘(예: PPO)과 비교하여 보상을 최대화하고 참조 정책과의 KL-분차를 최소화하는 데 얼마나 효율적으로 거래하는지 묻습니다. 다음으로, 요약 및 대화를 포함한 더 큰 모델과 더 어려운 RLHF 작업에서 DPO의 성능을 평가합니다. 하이퍼파라미터를 거의 조정하지 않아도 DPO는 학습된 보상 함수에서 \(N\)개의 샘플링된 궤적 중 가장 좋은 성능을 반환하는 PPO를 사용한 RLHF와 같은 강력한 기준보다 더 나은 성능을 발휘하는 경향이 있음을 발견했습니다. 이러한 결과를 제시하기 전에 실험 설정에 대해 설명하며, 자세한 내용은 부록 C에 나와 있습니다.