Learning from preferences is a powerful, scalable framework for training capable, aligned language models. We have introduced DPO, a simple training paradigm for training language models from preferences without reinforcement learning. Rather than coercing the preference learning problem into a standard RL setting in order to use off-the-shelf RL algorithms, DPO identifies a mapping between language model policies and reward functions that enables training a language model to satisfy human preferences _directly_, with a simple cross-entropy loss, without reinforcement learning or loss of generality. With virtually no tuning of hyperparameters, DPO performs similarly or better than existing RLHF algorithms, including those based on PPO; DPO thus meaningfully reduces the barrier to training more language models from human preferences.
선호도로부터 학습하는 것은 유능하고 정렬된 언어 모델을 훈련하기 위한 강력하고 확장 가능한 프레임워크입니다. 우리는 Reinforcement Learning 없이 선호도로부터 언어 모델을 훈련하기 위한 간단한 훈련 패러다임인 DPO를 소개했습니다. 기성 RL 알고리즘을 사용하기 위해 선호도 학습 문제를 표준 RL 설정으로 강제하는 대신, DPO는 언어 모델 정책과 보상 함수 사이의 매핑을 식별하여 Reinforcement Learning이나 일반성 손실 없이 간단한 교차 엔트로피 Loss로 언어 모델이 인간의 선호도를 _직접_ 만족하도록 훈련할 수 있게 해줍니다. 가변 파라미터를 거의 조정하지 않고도 DPO는 PPO를 기반으로 하는 기존 RLHF 알고리즘과 비슷하거나 더 나은 성능을 발휘하므로, 인간의 선호도로 더 많은 언어 모델을 훈련할 수 있는 장벽을 의미 있게 낮췄습니다.
선호도를 통한 학습은 유능하고 정렬된 언어 모델을 훈련하기 위한 강력하고 확장 가능한 프레임워크입니다. 우리는 강화 학습 없이 선호도로부터 언어 모델을 훈련하기 위한 간단한 훈련 패러다임인 DPO를 소개했습니다. 기성 RL 알고리즘을 사용하기 위해 선호도 학습 문제를 표준 RL 설정으로 강제하는 대신, DPO는 언어 모델 정책과 보상 함수 사이의 매핑을 식별하여 강화 학습이나 일반성 손실 없이 간단한 교차 엔트로피 손실로 언어 모델이 인간의 선호도를 _직접_ 만족하도록 훈련할 수 있게 해줍니다. 가변 파라미터를 거의 조정하지 않고도 DPO는 PPO를 기반으로 하는 기존 RLHF 알고리즘과 비슷하거나 더 나은 성능을 발휘하므로, 인간의 선호도로 더 많은 언어 모델을 훈련할 수 있는 장벽을 의미 있게 낮췄습니다.