To gauge the importance of using a well-aligned reference model in DPO, we perform preliminary experiments of DPO training with the Ultrafeedback dataset [13] on Mistral-7B-OpenOrca [12] and OpenHermes-2.5-Mistral-7B [14] as the SFT base model, owing to their excellent performance and small size. We compare the following reference models: i) the SFT base model itself, same as the conventional DPO setup; ii) SOLAR-0-70B [15], a larger and much more performant model; and iii) Intel-7B-DPO [13], an already aligned reference model. The results are summarized in Tab. 1.
DPO에서 잘 정렬된 reference model을 사용하는 것의 중요성을 측정하기 위해, 우수한 성능과 작은 크기로 인해 Mistral-7B-OpenOrca [12] 및 OpenHermes-2.5-Mistral-7B [14]를 SFT base model로 사용하여 Ultrafeedback 데이터 세트 [13]로 DPO 훈련을 위한 예비 실험을 수행합니다. 다음과 같은 reference model을 비교합니다: i) 기존 DPO 설정과 동일한 SFT base model 자체, ii) 더 크고 성능이 훨씬 뛰어난 SOLAR-0-70B [15], iii) 이미 정렬된 reference model인 Intel-7B-DPO [13]. 그 결과는 표 1에 요약되어 있습니다.
DPO에서 잘 정렬된 참조 모델을 사용하는 것의 중요성을 측정하기 위해, 우수한 성능과 작은 크기로 인해 Mistral-7B-OpenOrca [12] 및 OpenHermes-2.5-Mistral-7B [14]를 SFT 기반 모델로 사용하여 Ultrafeedback 데이터 세트 [13]로 DPO 훈련을 위한 예비 실험을 수행합니다. 다음과 같은 참조 모델을 비교합니다: i) 기존 DPO 설정과 동일한 SFT 기본 모델 자체, ii) 더 크고 성능이 훨씬 뛰어난 SOLAR-0-70B [15], iii) 이미 정렬된 참조 모델인 Intel-7B-DPO [13]. 그 결과는 표 1에 요약되어 있습니다.