To address these issues, there have been proposals for supervised fine-tuning methodologies such as Rank Responses to align Human Feedback (RRHF) (Yuan et al., 2023), Reward rAnked Fine-Tuning (RAFT) (Dong et al., 2023), and Direct Preference Optimization (DPO) (Rafailov et al., 2023). These methods circumvent the intricacies inherent in reinforcement learning and have been shown to yield empirical results on par with RLHF. Notably, the DPO technique straightforwardly encourages the LLM to favor positive responses and discourage negative ones. DPO has been observed to yield performant learning outcomes, in spite of its uncomplicated training procedure.
이러한 문제를 해결하기 위해 supervised Fine-tuning 방법론으로 Rank Responses to align Human Feedback (RRHF) (Yuan et al., 2023), Reward rAnked Fine-Tuning (RAFT) (Dong et al., 2023), Direct Preference Optimization (DPO) (Rafailov et al., 2023) 등이 제안되었습니다. 이러한 방법은 reinforcement learning에 내재된 복잡성을 피하고 RLHF와 동등한 실험 결과를 얻을 수 있는 것으로 나타났습니다. 특히 DPO 기법은 LLM이 긍정적인 응답을 선호하고 부정적인 응답을 억제하도록 간단하게 유도합니다. DPO는 간단한 학습 절차에도 불구하고 성능이 뛰어난 학습 결과를 산출하는 것으로 관찰되었습니다.
이러한 문제를 해결하기 위해 인간 피드백에 맞춰 랭크 응답(RRHF)(Yuan et al., 2023), 보상 랭크 미세 조정(RAFT)(Dong et al., 2023), 직접 선호도 최적화(DPO)(Rafailov et al., 2023)와 같은 지도 미세 조정 방법론에 대한 제안이 있었습니다. 이러한 방법은 강화 학습에 내재된 복잡성을 피하고 RLHF와 동등한 실험 결과를 얻을 수 있는 것으로 나타났습니다. 특히 DPO 기법은 LLM이 긍정적인 응답을 선호하고 부정적인 응답을 억제하도록 간단하게 유도합니다. DPO는 간단한 학습 절차에도 불구하고 성능이 뛰어난 학습 결과를 산출하는 것으로 관찰되었습니다.