Our main contribution is Direct Preference Optimization (DPO), a simple RL-free algorithm for training language models from preferences. Our experiments show that DPO is at least as effective as existing methods, including PPO-based RLHF, for learning from preferences in tasks such as sentiment modulation, summarization, and dialogue, using language models with up to 6B parameters.
우리의 주요 공헌은 선호도로부터 언어 모델을 훈련하기 위한 간단한 RL-free 알고리즘인 Direct Preference Optimization (DPO)입니다. 실험 결과, DPO는 감정 변조, 요약, 대화 등의 작업에서 최대 60억 개의 파라미터를 가진 언어 모델을 사용하여 선호도를 학습하는 데 PPO 기반 Reinforcement Learning from Human Feedback (RLHF)를 포함한 기존 방법만큼 효과적이라는 것이 밝혀졌습니다.
우리의 주요 공헌은 선호도로부터 언어 모델을 훈련하기 위한 간단한 RL-free 알고리즘인 직접 선호도 최적화(DPO)입니다. 실험 결과, DPO는 감정 변조, 요약, 대화 등의 작업에서 최대 60억 개의 파라미터를 가진 언어 모델을 사용하여 선호도를 학습하는 데 PPO 기반 RLHF를 포함한 기존 방법만큼 효과적이라는 것이 밝혀졌습니다.