To further compare the performance of PPO and DPO under distribution shifts, we evaluate the PPO and DPO policies from our Reddit TL;DR summarization experiment on a different distribution, news articles in the test split of the CNN/DailyMail dataset [24], using the best sampling temperatures from TL;DR (0 and 0.25). The results are presented in Table 1. We computed the GPT-4 win rate against the ground-truth summaries in the datasets, using the same GPT-4 (C) prompt we used for Reddit TL;DR, but replacing the words "forum post" with "news article". For this new distribution, DPO continues to outperform the PPO policy by a significant margin. This experiment provides initial evidence that DPO policies can generalize similarly well to PPO policies, even though DPO does not use the additional unlabeled Reddit TL;DR prompts that PPO uses.
PPO와 DPO의 성능을 분포 변화 하에서 추가로 비교하기 위해, 우리는 Reddit TL;DR 요약 실험에서 사용한 PPO와 DPO 정책을 다른 분포인 CNN/DailyMail 데이터셋 [24]의 테스트 분할에 있는 뉴스 기사에 대해 평가했습니다. TL;DR에서 사용한 최적의 샘플링 온도(0 및 0.25)를 사용했습니다. 결과는 Table 1에 제시되어 있습니다. 우리는 Reddit TL;DR에서 사용한 동일한 GPT-4 (C) 프롬프트를 사용하여 데이터셋의 실제 요약과 비교하여 GPT-4 승률을 계산했으며, "forum post"라는 단어를 "news article"로 대체했습니다. 이 새로운 분포에서도 DPO는 여전히 PPO 정책보다 상당히 우수한 성능을 보였습니다. 이 실험은 DPO 정책이 추가적인 라벨이 없는 Reddit TL;DR 프롬프트를 사용하지 않음에도 불구하고 PPO 정책과 유사하게 잘 일반화할 수 있다는 초기 증거를 제공합니다.
분포 이동 하에서 PPO와 DPO의 성능을 추가로 비교하기 위해, Reddit TL;DR 요약 실험에서 얻은 PPO 및 DPO 정책을 CNN/DailyMail 데이터 세트[24]의 테스트 분할에 있는 뉴스 기사라는 다른 분포에 대해 평가하고, TL;DR의 최적 샘플링 온도(0 및 0.25)를 사용합니다. 그 결과는 표 1에 나와 있습니다. 데이터 세트의 실측 요약과 비교하여 GPT-4의 승률을 계산했으며, Reddit TL;DR에 사용한 것과 동일한 GPT-4 (C) 프롬프트를 사용했지만 "포럼 게시물"이라는 단어를 "뉴스 기사"로 대체했습니다. 이 새로운 분포에서 DPO는 여전히 PPO 정책보다 상당한 격차로 성능이 뛰어납니다. 이 실험은 DPO가 PPO가 사용하는 추가 라벨이 없는 Reddit TL;DR 프롬프트를 사용하지 않음에도 불구하고 DPO 정책이 PPO 정책과 유사하게 일반화할 수 있다는 초기 증거를 제공합니다.