**Methods.** In addition to DPO, we evaluate several existing approaches to training language models to adhere to human preferences. Most simply, we explore zero-shot prompting with **GPT-J**[43] in the summarization task and 2-shot prompting with **Pythia-2.8B**[3] in the dialogue task. In addition, we evaluate the **SFT** model as well as **Preferred-FT**, which is a model fine-tuned with supervised learning on the chosen completion \(y_{w}\) from either the SFT model (in controlled sentiment and summarization) or a generic LM (in single-turn dialogue). Another pseudo-supervised method is **Unlikelihood**[44], which simply optimizes the policy to maximize the probability assigned to \(y_{w}\) and _minimize_ the probability assigned to \(y_{l}\); we use an optional coefficient \(\alpha\in[0,1]\) on the 'unlikelihood' term. We also consider **PPO**[37] using a reward function learned from the preference data and **PPO-GT**, which is an oracle that learns from the ground truth reward function available in the controlled sentiment setting. In our sentiment experiments, we use two implementations of PPO-GT, one of-the-shelf version [42] as well as a modified version that normalizes rewards and further tunes hyperparameters to improve performance (we also use these modifications when running 'normal' PPO with learned rewards). Finally, we consider the **Best of \(N\)** baseline, sampling \(N\) responses from the SFT model (or Preferred-FT in dialogue) and returning the highest-scoring response according to a reward function learned from the preference dataset. This high-performing method decouples the quality of the reward model from the PPO optimization, but is computationally impractical even for moderate \(N\) as it requires sampling \(N\) completions for every query at test time.
**방법**. DPO 외에도 인간의 선호도를 준수하도록 언어 모델을 훈련하는 몇 가지 기존 접근 방식을 평가합니다. 가장 간단하게 요약 작업에서는 **GPT-J**[43]로 zero-shot prompting을, 대화 작업에서는 **Pythia-2.8B**[3]로 2-shot prompting을 사용합니다. 또한 **SFT** 모델과 **Preferred-FT**, 이는 SFT 모델(제어된 감성 및 요약) 또는 일반 LM(단일 턴 대화)에서 선택한 완성 \(y_{w}\)에 대해 지도 학습으로 Fine-tuning된 모델을 평가합니다. 또 다른 pseudo-supervised 방식은 **Unlikelihood**[44]로, 단순히 \(y_{w}\)에 할당된 확률을 최대화하고 \(y_{l}\)에 할당된 확률을 _최소화_하도록 정책을 최적화하는 방식이며, 'unlikelihood' 항에 선택적 계수 \(\alpha\in[0,1]\)를 사용합니다. 또한 선호도 데이터에서 학습된 보상 함수를 사용하는 **PPO**[37]와 제어된 감성 설정에서 사용할 수 있는 지상 실측 보상 함수에서 학습하는 오라클인 **PPO-GT**를 평가합니다. 감성 실험에서는 기성 버전 [42]과 보상을 정규화하고 하이퍼파라미터를 추가로 조정하여 성능을 개선하는 수정된 버전의 PPO-GT 두 가지 구현을 사용합니다('학습된 보상으로 '일반' PPO를 실행할 때도 이러한 수정 사항을 사용합니다). 마지막으로, 선호도 데이터 세트에서 학습된 보상 함수에 따라 **SFT** 모델(또는 대화에서 **Preferred-FT**)에서 \(N\)개의 응답을 샘플링하고 가장 높은 점수를 받은 응답을 반환하는 **Best of \(N\)** 베이스라인을 고려합니다. 이 고성능 방법은 보상 모델의 품질과 PPO 최적화를 분리하지만, 테스트 시 모든 쿼리에 대해 \(N\)개의 완성을 샘플링해야 하므로 적당한 \(N\)의 경우에도 계산적으로 비실용적입니다.
**방법**. DPO 외에도 인간의 선호도를 준수하도록 언어 모델을 훈련하는 몇 가지 기존 접근 방식을 평가합니다. 가장 간단하게 요약 작업에서는 **GPT-J**[43]로 제로 샷 프롬프트를, 대화 작업에서는 **Pythia-2.8B**[3]로 2 샷 프롬프트를 사용합니다. 또한 SFT 모델과 SFT 모델(제어된 감성 및 요약) 또는 일반 LM(단일 턴 대화)에서 선택한 완성 \(y_{w}\)에 대해 지도 학습으로 미세 조정된 모델인 **Preferred-FT**를 평가합니다. 또 다른 의사 감독 방식은 **Unlikelihood**[44]로, 단순히 \(y_{w}\)에 할당된 확률을 최대화하고 \(y_{l}\)에 할당된 확률을 _최소화_하도록 정책을 최적화하는 방식이며, '불확실성' 항에 선택적 계수 \(\alpha\in[0,1]\)를 사용합니다. 또한 선호도 데이터에서 학습된 보상 함수를 사용하는 **PPO**[37]와 제어된 감성 설정에서 사용할 수 있는 지상 실측 보상 함수에서 학습하는 오라클인 **PPO-GT**를 평가합니다. 감성 실험에서는 기성 버전 [42]과 보상을 정규화하고 하이퍼파라미터를 추가로 조정하여 성능을 개선하는 수정된 버전의 PPO-GT 두 가지 구현을 사용합니다('학습된 보상으로 '일반' PPO를 실행할 때도 이러한 수정 사항을 사용합니다). 마지막으로, 선호도 데이터 세트에서 학습된 보상 함수에 따라 SFT 모델(또는 대화에서 Preferred-FT)에서 \(N\)개의 응답을 샘플링하고 가장 높은 점수를 받은 응답을 반환하는 **Best of \(N\)** 베이스라인을 고려합니다. 이 고성능 방법은 보상 모델의 품질과 PPO 최적화를 분리하지만, 테스트 시 모든 쿼리에 대해 \(N\)개의 완성을 샘플링해야 하므로 적당한 \(N\)의 경우에도 계산적으로 비실용적입니다.