**Limitations & Future Work.** Our results raise several important questions for future work. How does the DPO policy generalize out of distribution, compared with learning from an explicit reward function? Our initial results suggest that DPO policies can generalize similarly to PPO-based models, but more comprehensive study is needed. For example, can training with self-labeling from the DPO policy similarly make effective use of unlabeled prompts? On another front, how does reward over-optimization manifest in the direct preference optimization setting, and is the slight decrease in performance in Figure 3-right an instance of it? Additionally, while we evaluate models up to 6B parameters, exploration of scaling DPO to state-of-the-art models orders of magnitude larger is an exciting direction for future work. Regarding evaluations, we find that the win rates computed by GPT-4 are impacted by the prompt; future work may study the best way to elicit high-quality judgments from automated systems. Finally, many possible applications of DPO exist beyond training language models from human preferences, including training generative models in other modalities.
**제한 사항 및 향후 연구.** 우리의 결과는 향후 연구를 위해 몇 가지 중요한 질문을 제기합니다. 명시적인 보상 함수로부터 학습하는 것과 비교하여, DPO 정책은 분포 외 일반화에 어떻게 대응할까요? 초기 결과는 DPO 정책이 PPO 기반 모델과 유사하게 일반화할 수 있음을 시사하지만, 더 포괄적인 연구가 필요합니다. 예를 들어, DPO 정책에서의 자기 라벨링 훈련이 비슷하게 라벨이 없는 프롬프트를 효과적으로 사용할 수 있을까요? 또 다른 측면에서, 직접 선호 최적화 설정에서 보상 과최적화가 어떻게 나타나며, Figure 3-right의 성능 약간 감소가 그 예시일까요? 추가적으로, 우리는 최대 60억 개의 매개변수를 가진 모델을 평가하지만, DPO를 수십 배 더 큰 최첨단 모델로 확장하는 탐구는 향후 연구의 흥미로운 방향입니다. 평가와 관련하여, GPT-4에 의해 계산된 승률이 프롬프트에 의해 영향을 받는다는 것을 발견했습니다; 향후 연구는 자동화된 시스템으로부터 고품질의 판단을 이끌어내는 최선의 방법을 연구할 수 있습니다. 마지막으로, 인간의 선호로부터 언어 모델을 훈련하는 것 외에도, DPO의 많은 잠재적 응용이 다른 모달리티의 생성 모델 훈련을 포함하여 존재합니다.
**제한 사항 및 향후 작업**. 우리의 결과는 향후 작업에 대한 몇 가지 중요한 질문을 제기합니다. 명시적인 보상 함수로 학습하는 것과 비교하여 DPO 정책이 분포 밖에서 어떻게 일반화되나요? 초기 결과에 따르면 DPO 정책은 PPO 기반 모델과 비슷하게 일반화될 수 있지만, 보다 포괄적인 연구가 필요합니다. 예를 들어, DPO 정책의 자체 라벨링을 사용한 훈련이 비라벨링된 프롬프트를 효과적으로 활용할 수 있을까요? 또 다른 한편, 직접 선호도 최적화 설정에서 보상 과적화는 어떻게 나타나며, 그림 3-오른쪽의 성능 저하가 그 예시일까요? 또한, 최대 6B 파라미터의 모델을 평가하고 있지만, 이보다 훨씬 더 큰 최첨단 모델에 DPO를 확장하는 것도 향후 연구의 흥미로운 방향입니다. 평가와 관련하여 GPT-4에 의해 계산된 승률은 프롬프트에 영향을 받는다는 것을 발견했으며, 향후 연구에서는 자동화된 시스템에서 고품질 판단을 이끌어내는 가장 좋은 방법을 연구할 수 있습니다. 마지막으로, 인간의 선호도로부터 언어 모델을 훈련하는 것 외에도 다른 방식의 생성 모델 훈련 등 DPO의 다양한 응용 가능성이 존재합니다.