Fig. 30: DPO optimizes for human preferences while avoiding reinforcement learning. Existing methods for fine-tuning language models with human feedback first fit a reward model to a dataset of prompts and human preferences over pairs of responses, and then use RL to find a policy that maximizes the learned reward. In contrast, DPO directly optimizes for the policy best satisfying the preferences with a simple classification objective, without an explicit reward function or RL. Courtesy of [139].
그림 30: DPO는 Reinforcement Learning을 피하면서 인간의 선호도에 최적화합니다. 인간의 피드백으로 언어 모델을 Fine-tuning하는 기존 방법은 먼저 응답 쌍에 대한 프롬프트 및 인간의 선호도 데이터 세트에 보상 모델을 맞춘 다음 RL을 사용하여 학습된 보상을 최대화하는 정책을 찾습니다. 반면, DPO는 명시적인 보상 함수나 RL 없이 간단한 분류 Objective를 통해 선호도를 가장 잘 만족하는 정책을 직접 최적화합니다. [139]의 상표.
그림 30: DPO는 강화 학습을 피하면서 인간의 선호도에 최적화합니다. 인간의 피드백으로 언어 모델을 미세 조정하는 기존 방법은 먼저 응답 쌍에 대한 프롬프트 및 인간의 선호도 데이터 세트에 보상 모델을 맞춘 다음 RL을 사용하여 학습된 보상을 최대화하는 정책을 찾습니다. 반면, DPO는 명시적인 보상 함수나 RL 없이 간단한 분류 목표를 통해 선호도를 가장 잘 만족하는 정책을 직접 최적화합니다. [139]의 상표.