Next, we evaluate fine-tuning performance of DPO on summarization and single-turn dialogue. For summarization, automatic evaluation metrics such as ROUGE can be poorly correlated with human preferences [38], and prior work has found that fine-tuning LMs using PPO on human preferences to provide more effective summaries. We evaluate different methods by sampling completions on the test split of TL;DR summarization dataset, and computing the average win rate against reference completions in the test set. The completions for all methods are sampled at temperatures varying from 0.0 to 1.0, and the win rates are shown in Figure 2 (right). DPO, PPO and Preferred-FT all fine-tune the same GPT-J SFT model4. We find that DPO has a win rate of approximately 61% at a temperature of 0.0, exceeding the performance of PPO at 57% at its optimal sampling temperature of 0.0. DPO also achieves a higher maximum win rate compared to the best of \(N\) baseline. We note that we did not meaningfully tune DPO's \(\beta\) hyperparameter, so these results may underestimate DPO's potential. Moreover, we find DPO to be much more robust to the sampling temperature than PPO, the performance of which can degrade to that of the base GPT-J model at high temperatures. Preferred-FT does not improve significantly over the SFT model. We also compare DPO and PPO head-to-head in human evaluations in Section 6.4, where DPO samples at temperature 0.25 were preferred 58% times over PPO samples at temperature 0.
다음으로 요약 및 단일 턴 대화에 대한 DPO의 Fine-tuning 성능을 평가합니다. 요약의 경우 ROUGE와 같은 자동 평가 메트릭은 사람의 선호도와 상관관계가 낮을 수 있으며, 이전 연구에서는 사람의 선호도에 대해 PPO를 사용하여 LM을 Fine-tuning하여 더 효과적인 요약을 제공한다는 사실이 밝혀졌습니다. TL;DR 요약 데이터 세트의 테스트 분할에서 완성을 샘플링하고 테스트 세트의 참조 완성에 대한 평균 승률을 계산하여 다양한 방법을 평가합니다. 모든 방법의 완성은 0.0에서 1.0까지 다양한 온도에서 샘플링되며, 승률은 그림 2(오른쪽)에 나와 있습니다. DPO, PPO 및 Preferred-FT는 모두 동일한 GPT-J SFT 모델을 Fine-tuning합니다. 온도가 0.0일 때 DPO의 승률은 약 61%로 최적의 샘플링 온도인 0.0에서 57%인 PPO의 성능을 초과합니다. 또한 DPO는 최고 \(N\) 기준선보다 더 높은 최대 승률을 달성합니다. DPO의 \(\beta\) 하이퍼파라미터를 의미 있게 조정하지 않았기 때문에 이러한 결과는 DPO의 잠재력을 과소평가한 것일 수 있다는 점에 유의합니다. 또한 DPO는 샘플링 온도에 대해 PPO보다 훨씬 더 Robust하며, 온도가 높으면 성능이 기본 GPT-J 모델의 성능으로 저하될 수 있습니다. Preferred-FT는 SFT 모델에 비해 크게 개선되지 않았습니다. 또한 섹션 6.4의 인간 평가에서 DPO와 PPO를 직접 비교했는데, 온도 0.25에서 샘플링한 DPO가 온도 0에서 샘플링한 PPO보다 58% 더 선호되었습니다.
다음으로 요약 및 단일 턴 대화에 대한 DPO의 미세 조정 성능을 평가합니다. 요약의 경우 ROUGE와 같은 자동 평가 메트릭은 사람의 선호도와 상관관계가 낮을 수 있으며, 이전 연구에서는 사람의 선호도에 대해 PPO를 사용하여 LM을 미세 조정하여 더 효과적인 요약을 제공한다는 사실이 밝혀졌습니다. TL;DR 요약 데이터 세트의 테스트 분할에서 완성을 샘플링하고 테스트 세트의 참조 완성에 대한 평균 승률을 계산하여 다양한 방법을 평가합니다. 모든 방법의 완성은 0.0에서 1.0까지 다양한 온도에서 샘플링되며, 승률은 그림 2(오른쪽)에 나와 있습니다. DPO, PPO 및 Preferred-FT는 모두 동일한 GPT-J SFT 모델4를 미세 조정합니다. 온도가 0.0일 때 DPO의 승률은 약 61%로 최적의 샘플링 온도인 0.0에서 57%인 PPO의 성능을 초과합니다. 또한 DPO는 최고 \(N\) 기준선보다 더 높은 최대 승률을 달성합니다. DPO의 \(\베타\) 하이퍼파라미터를 의미 있게 조정하지 않았기 때문에 이러한 결과는 DPO의 잠재력을 과소평가한 것일 수 있다는 점에 유의합니다. 또한 DPO는 샘플링 온도에 대해 PPO보다 훨씬 더 강력하며, 온도가 높으면 성능이 기본 GPT-J 모델의 성능으로 저하될 수 있습니다. Preferred-FT는 SFT 모델에 비해 크게 개선되지 않았습니다. 또한 섹션 6.4의 인간 평가에서 DPO와 PPO를 직접 비교했는데, 온도 0.25에서 샘플링한 DPO가 온도 0에서 샘플링한 PPO보다 58% 더 선호되었습니다.