While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call _Direct Preference Optimization_ (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.
대규모 비지도 언어 모델(LM)은 광범위한 세계 지식과 일부 추론 기술을 학습하지만, 완전히 비지도적인 훈련 특성으로 인해 행동을 정밀하게 제어하는 것은 어렵습니다. 이러한 조종성을 얻기 위한 기존 방법은 모델 생성의 상대적 품질에 대한 인간의 레이블을 수집하고 이러한 선호도에 맞게 비지도 LM을 Fine-tuning하는 것으로, 종종 Reinforcement Learning from Human Feedback (RLHF)을 사용합니다. 그러나 RLHF는 복잡하고 종종 불안정한 절차로, 먼저 인간의 선호도를 반영하는 보상 모델을 맞춘 다음, Reinforcement Learning을 사용하여 대규모 비지도 LM을 Fine-tuning하여 원래 모델에서 너무 멀리 벗어나지 않으면서 이 예상 보상을 최대화합니다. 이 논문에서는 RLHF에서 보상 모델의 새로운 매개변수화를 소개하여 해당 최적의 정책을 폐쇄 형식으로 추출할 수 있도록 하여 간단한 분류 Loss만으로 표준 RLHF 문제를 해결할 수 있도록 합니다. Direct Preference Optimization (DPO)라고 하는 결과 알고리즘은 안정적이고 성능이 뛰어나며 계산 비용이 적게 들기 때문에 Fine-tuning 중에 LM에서 샘플링하거나 중요한 하이퍼파라미터를 조정할 필요가 없습니다. 실험 결과, DPO를 사용하여 Fine-tuning하면 기존 방법만큼 또는 그 이상으로 인간의 선호도에 맞게 LM을 조정할 수 있습니다. 특히, DPO로 Fine-tuning하면 생성의 감성을 제어하는 능력이 PPO 기반 RLHF를 능가하며, 구현 및 훈련이 훨씬 간단하면서 요약 및 단발 대화에서 응답 품질을 따라잡거나 개선합니다.
대규모 비지도 언어 모델(LM)은 광범위한 세계 지식과 일부 추론 기술을 학습하지만, 완전히 비지도적인 훈련 특성으로 인해 행동을 정밀하게 제어하는 것은 어렵습니다. 이러한 조종성을 얻기 위한 기존 방법은 모델 생성의 상대적 품질에 대한 인간의 레이블을 수집하고 이러한 선호도에 맞게 비지도 LM을 미세 조정하는 것으로, 종종 인간 피드백(RLHF)을 통한 강화 학습(RLHF)을 사용합니다. 그러나 RLHF는 복잡하고 종종 불안정한 절차로, 먼저 인간의 선호도를 반영하는 보상 모델을 맞춘 다음, 강화 학습을 사용하여 대규모 비지도 LM을 미세 조정하여 원래 모델에서 너무 멀리 벗어나지 않으면서 이 예상 보상을 최대화합니다. 이 논문에서는 RLHF에서 보상 모델의 새로운 매개변수화를 소개하여 해당 최적의 정책을 폐쇄 형식으로 추출할 수 있도록 하여 간단한 분류 손실만으로 표준 RLHF 문제를 해결할 수 있도록 합니다. 직접 선호도 최적화(_Direct Preference Optimization_ (DPO))라고 하는 결과 알고리즘은 안정적이고 성능이 뛰어나며 계산 비용이 적게 들기 때문에 미세 조정 중에 LM에서 샘플링하거나 중요한 하이퍼파라미터를 조정할 필요가 없습니다. 실험 결과, DPO를 사용하여 미세 조정하면 기존 방법만큼 또는 그 이상으로 인간의 선호도에 맞게 LM을 조정할 수 있습니다. 특히, DPO로 미세 조정하면 생성의 감성을 제어하는 능력이 PPO 기반 RLHF를 능가하며, 구현 및 훈련이 훨씬 간단하면서 요약 및 단발 대화에서 응답 품질을 따라잡거나 개선합니다.