Figure 1: **DPO optimizes for human preferences while avoiding reinforcement learning. Existing methods for fine-tuning language models with human feedback first fit a reward model to a dataset of prompts and human preferences over pairs of responses, and then use RL to find a policy that maximizes the learned reward.
그림 1: **DPO는 Reinforcement Learning을 피하면서 인간의 선호도에 최적화합니다. 사람의 피드백으로 언어 모델을 Fine-tuning하는 기존 방법은 먼저 응답 쌍에 대한 프롬프트 및 사람의 선호도 데이터 세트에 대한 보상 모델을 맞춘 다음 RL을 사용하여 학습된 보상을 최대화하는 정책을 찾습니다.
그림 1: **DPO는 강화 학습을 피하면서 인간의 선호도에 최적화합니다. 사람의 피드백으로 언어 모델을 미세 조정하는 기존 방법은 먼저 응답 쌍에 대한 프롬프트 및 사람의 선호도 데이터 세트에 대한 보상 모델을 맞춘 다음 RL을 사용하여 학습된 보상을 최대화하는 정책을 찾습니다.