We propose sDPO where we use the preference data in a stepwise way instead of all at once. We show that applying sDPO results in more performant models than DPO in terms of H4 score. We also empirically exhibit that sDPO results in more aligned reference models by comparing mean \(\gamma_{\pi_{ref}}\).
우리는 선호 데이터를 한 번에 모두 사용하는 대신 단계적으로 사용하는 sDPO를 제안합니다. sDPO를 적용하면 H4 점수 측면에서 DPO보다 더 성능이 좋은 모델이 생성된다는 것을 보여줍니다. 또한 평균 \(\gamma_{\pi_{ref}}\)를 비교하여 sDPO가 더 일치하는 참조 모델을 생성한다는 것을 실증적으로 입증합니다.
우리는 선호도 데이터를 한 번에 모두 사용하는 대신 단계적으로 사용하는 sDPO를 제안한다. sDPO를 적용하면 H4 점수 측면에서 DPO보다 더 성능이 뛰어난 모델이 생성된다는 것을 보여준다. 또한 평균 \(\감마_{\pi_{ref}}\)를 비교하여 sDPO가 더 정렬된 참조 모델을 생성한다는 것을 경험적으로 보여준다.