To address the complicated nature of reinforcement learning in LLM training, direct preference optimization (DPO) Rafailov et al. (2023), among other methods Yuan et al. (2023); Dong et al. (2023), have been popularized for its simplicity and effectiveness. DPO involves curating preference datasets using human or strong AI (_e.g.,_ GPT-4 (OpenAI, 2023)) judgement to select chosen and rejected responses to questions. These datasets are used to train LLMs by comparing log probabilities of chosen versus rejected answers. However, obtaining these probabilities can be challenging with proprietary models like GPT-4, since they do not offer log probabilities for inputs.
LLM 학습에서 Reinforcement Learning의 복잡한 특성을 해결하기 위해 Direct Preference Optimization (DPO) Rafailov 등(2023)이 간단하고 효과적이라는 점에서 인기를 얻고 있습니다. DPO는 인간 또는 강력한 AI(_예:_ GPT-4(OpenAI, 2023))의 판단을 사용하여 선호도 데이터 세트를 큐레이션하여 질문에 대한 선택 및 거부된 응답을 선택하는 방식으로 이루어집니다. 이러한 데이터 세트는 선택한 답변과 거부한 답변의 로그 확률을 비교하여 LLM을 훈련하는 데 사용됩니다. 그러나 이러한 확률을 구하는 것은 입력에 대한 로그 확률을 제공하지 않는 GPT-4와 같은 독점 모델에서는 어려울 수 있습니다.
LLM 학습에서 강화 학습의 복잡한 특성을 해결하기 위해 직접 선호도 최적화(DPO) Rafailov 등(2023)이 간단하고 효과적이라는 점에서 인기를 얻고 있습니다. DPO는 인간 또는 강력한 AI(_예:_ GPT-4(OpenAI, 2023))의 판단을 사용하여 선호도 데이터 세트를 큐레이션하여 질문에 대한 선택 및 거부된 응답을 선택하는 방식으로 이루어집니다. 이러한 데이터 세트는 선택한 답변과 거부한 답변의 로그 확률을 비교하여 LLM을 훈련하는 데 사용됩니다. 그러나 이러한 확률을 구하는 것은 입력에 대한 로그 확률을 제공하지 않는 GPT-4와 같은 독점 모델에서는 어려울 수 있습니다.