In another recent work (known as **DPO**) [139], Rafailov et al. discussed that RLHF is a complex and often unstable procedure, and tried to address this with a new approach. They leveraged a mapping between reward functions and optimal policies to show that this constrained reward maximization problem can be optimized exactly with a single stage of policy training, essentially solving a classification problem on the human preference data. The resulting algorithm, which they called Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for fitting a reward model, sampling from the LM during fine-tuning, or performing significant hyperparameter tuning. They observed that fine-tuning with DPO exceeds RLHF's ability to control sentiment of generations and improves response quality in summarization. Fig 30 shows the high-level comparison between DPO vs RLHF.
또 다른 최근 연구(DPO로 알려진) [139]에서 Rafailov 등은 RLHF가 복잡하고 종종 불안정한 과정이라고 논의하고 이를 새로운 접근 방식으로 해결하려고 시도했습니다. 이들은 보상 함수와 최적의 정책 사이의 매핑을 활용하여 이 제약된 보상 최대화 문제를 정책 훈련의 단일 단계로 정확하게 최적화할 수 있으며, 본질적으로 인간 선호도 데이터에 대한 분류 문제를 해결할 수 있음을 보여주었습니다. 이들이 Direct Preference Optimization (DPO)라고 부르는 결과 알고리즘은 안정적이고 성능이 뛰어나며 계산 비용이 적게 들기 때문에 보상 모델 맞춤, Fine-tuning 중에 LM에서 샘플링 또는 중요한 하이퍼파라미터 조정이 필요하지 않습니다. 이들은 DPO로 Fine-tuning하면 RLHF가 생성된 내용의 정서를 제어하는 능력을 뛰어넘고 요약에서 응답 품질을 개선한다는 것을 관찰했습니다. 그림 30은 DPO와 RLHF의 높은 수준의 비교를 보여줍니다.
또 다른 최근 연구(DPO로 알려진) [139]에서 Rafailov 등은 RLHF가 복잡하고 종종 불안정한 과정이라고 논의하고 이를 새로운 접근 방식으로 해결하려고 시도했습니다. 이들은 보상 함수와 최적의 정책 사이의 매핑을 활용하여 이 제약된 보상 최대화 문제를 정책 훈련의 단일 단계로 정확하게 최적화할 수 있으며, 본질적으로 인간 선호도 데이터에 대한 분류 문제를 해결할 수 있음을 보여주었습니다. 이들이 직접 선호도 최적화(DPO)라고 부르는 결과 알고리즘은 안정적이고 성능이 뛰어나며 계산 비용이 적게 들기 때문에 보상 모델 맞춤, 미세 조정 중에 LM에서 샘플링 또는 중요한 하이퍼파라미터 조정이 필요하지 않습니다. 이들은 DPO로 미세 조정하면 RLHF가 생성된 내용의 정서를 제어하는 능력을 뛰어넘고 요약에서 응답 품질을 개선한다는 것을 관찰했습니다. 그림 30은 DPO와 RLHF의 높은 수준의 비교를 보여줍니다.