On single-turn dialogue, we evaluate the different methods on the subset of the test split of the Anthropic HH dataset [1] with one step of human-assistant interaction. GPT-4 evaluations use the preferred completions on the test as the reference to compute the win rate for different methods. As there is no standard SFT model for this task, we start with a pre-trained Pythia-2.8B, use Preferred-FT to train a reference model on the chosen completions such that completions are within distribution of the model, and then train using DPO. We also compare against the best of 128 Preferred-FT completions (we found the Best of \(N\) baseline plateaus at 128 completions for this task; see Appendix Figure 4) and a 2-shot prompted version of the Pythia-2.8B base model, finding DPO performs as well or better for the best-performing temperatures for each method. We also evaluate an RLHF model trained with PPO on the Anthropic HH dataset 5 from a well-known source 6, but are unable to find a prompt or sampling temperature that gives performance better than the base Pythia-2.8B model. Based on our results from TL;DR and the fact that both methods optimize the same reward function, we consider Best of 128 a rough proxy for PPO-level performance. Overall, DPO is the only computationally efficient method that improves over the preferred completions in the Anthropic HH dataset, and provides similar or better performance to the computationally demanding Best of 128 baseline. Finally, Figure 3 shows that DPO converges to its best performance relatively quickly.
단일 턴 대화에서는 인간과 어시스턴트의 상호 작용이 한 단계 있는 Anthropic HH 데이터 세트 [1]의 테스트 분할 하위 집합에서 다양한 방법을 평가합니다. GPT-4 평가는 테스트에서 선호하는 완성을 참조로 사용하여 다양한 방법의 승률을 계산합니다. 이 작업에는 표준 Supervised Fine-tuning (SFT) 모델이 없으므로 사전 학습된 Pythia-2.8B로 시작하여, Preferred-FT를 사용하여 선택한 완성에 대한 참조 모델을 학습시켜 완성이 모델의 분포 내에 있도록 한 다음 DPO를 사용하여 학습합니다. 또한 128개의 Preferred-FT 완성 중 최고의 완성과 비교하여(이 작업의 경우 최고의 \(N\) 기준선이 128개의 완성에서 정체되는 것을 발견했습니다. 참고 그림 4 참조), 2-shot 프롬프트 버전의 Pythia-2.8B 기본 모델을 비교하여 각 방법의 최적 성능 온도에 대해 DPO가 더 나은 성능을 발휘하는지 확인했습니다. 또한 잘 알려진 소스 6의 Anthropic HH 데이터 세트 5에서 PPO로 학습된 Reinforcement Learning from Human Feedback (RLHF) 모델을 평가했지만, 기본 Pythia-2.8B 모델보다 성능이 더 나은 프롬프트 또는 샘플링 온도를 찾지 못했습니다. TL;DR의 결과와 두 방법이 동일한 보상 함수를 최적화한다는 사실을 바탕으로 128개 중 최고의 것을 PPO 수준의 성능에 대한 대략적인 대리 역할로 간주합니다. 전반적으로 DPO는 Anthropic HH 데이터 세트에서 선호도 완성을 개선하는 유일한 계산 효율적인 방법이며, 계산 집약적인 최고의 128 기준선과 비슷하거나 더 나은 성능을 제공합니다. 마지막으로 그림 3은 DPO가 비교적 빠르게 최상의 성능에 수렴하는 것을 보여줍니다.
단일 턴 대화에서는 인간과 어시스턴트의 상호 작용이 한 단계 있는 Anthropic HH 데이터 세트 [1]의 테스트 분할 하위 집합에서 다양한 방법을 평가합니다. GPT-4 평가는 테스트에서 선호하는 완성을 참조로 사용하여 다양한 방법의 승률을 계산합니다. 이 작업에는 표준 SFT 모델이 없으므로 사전 학습된 Pythia-2.8B로 시작하여, 선호도-FT를 사용하여 선택한 완성에 대한 참조 모델을 학습시켜 완성이 모델의 분포 내에 있도록 한 다음 DPO를 사용하여 학습합니다. 또한 128개의 선호도-FT 완성 중 최고의 완성과 비교하여(이 작업의 경우 최고의 \(N\) 기준선이 128개의 완성에서 정체되는 것을 발견했습니다. 참고 그림 4 참조), 2샷 프롬프트 버전의 Pythia-2.8B 기본 모델을 비교하여 각 방법의 최적 성능 온도에 대해 DPO가 더 나은 성능을 발휘하는지 확인했습니다. 또한 잘 알려진 소스 6의 Anthropic HH 데이터 세트 5에서 PPO로 학습된 RLHF 모델을 평가했지만, 기본 Pythia-2.8B 모델보다 성능이 더 나은 프롬프트 또는 샘플링 온도를 찾지 못했습니다. TL;DR의 결과와 두 방법이 동일한 보상 함수를 최적화한다는 사실을 바탕으로 128개 중 최고의 것을 PPO 수준의 성능에 대한 대략적인 대리 역할로 간주합니다. 전반적으로 DPO는 안트로픽 HH 데이터 세트에서 선호도 완성을 개선하는 유일한 계산 효율적인 방법이며, 계산 집약적인 최고의 128 기준선과 비슷하거나 더 나은 성능을 제공합니다. 마지막으로 그림 3은 DPO가 비교적 빠르게 최상의 성능에 수렴하는 것을 보여줍니다.