Figure 3: **Left.** Win rates computed by GPT-4 for Anthropic-HH one-step dialogue; DPO is the only method that improves over chosen summaries in the Anthropic-HH test set. **Right.** Win rates for different sampling temperatures over the course of training. DPO’s improvement over the dataset labels is fairly stable over the course of training for different sampling temperatures.
그림 3: **왼쪽.** Anthropic-HH 한 단계 대화에 대해 GPT-4가 계산한 승률; DPO는 Anthropic-HH 테스트 세트에서 선택된 요약보다 개선된 유일한 방법입니다. **오른쪽.** 다양한 sampling 온도에 대한 승률은 훈련 과정에서 다양합니다. DPO의 데이터 세트 레이블에 대한 개선은 다양한 sampling 온도에 대해 훈련 과정에서 상당히 안정적입니다.
그림 3: **왼쪽.** Anthropic-HH 한 단계 대화에 대해 GPT-4가 계산한 승률; DPO는 Anthropic-HH 테스트 세트에서 선택된 요약보다 개선된 유일한 방법입니다. **오른쪽.** 다양한 샘플링 온도에 대한 승률은 훈련 과정에서 다양합니다. DPO의 데이터 세트 레이블에 대한 개선은 다양한 샘플링 온도에 대해 훈련 과정에서 상당히 안정적입니다.