Effectiveness of sDPO in terms of alignment tuning.In Sec. 2.2, we explain that the reference models in sDPO are more aligned, resulting in higher \(\gamma_{\pi_{ref}}\), _i.e.,_ a stricter lower bound. We verify the above empirically in Fig. 2 by comparing the mean \(\gamma_{\pi_{ref}}\) on the Ultrafeedback Cleaned dataset for the reference models in steps 1 and 2 of sDPO, _i.e.,_\(S\) and \(M_{1}\). Note that these two models have not been trained on the aforementioned dataset. Using the SFT base model \(S\) as the reference model, the mean of \(\gamma_{\pi_{ref}}\) is \(-38.60\). On the other hand, using the aligned model \(M_{1}\) from step 1 of sDPO as the reference model, the mean of \(\gamma_{\pi_{ref}}\) is \(-25.10\), an increase of \(13.50\) in _log scale_. Thus, a single step of sDPO greatly increases \(\gamma_{\pi_{ref}}\), which results in a more performant aligned model as seen in Tab. 2.
정렬 튜닝 측면에서 sDPO의 효과. Sec. 2.2에서는 sDPO의 기준 모델이 더 정렬되어 있어 \(\gamma_{\pi_{ref}}\)가 더 높아지고, 즉 더 엄격한 하한이 된다는 것을 설명합니다. 위의 내용은 그림 2에서 sDPO의 1단계와 2단계의 기준 모델, 즉 \(S\)와 \(M_{1}\)에 대한 Ultrafeedback Cleaned 데이터 세트의 평균 \(\gamma_{\pi_{ref}}\)를 비교하여 경험적으로 확인할 수 있습니다. 이 두 모델은 앞서 언급한 데이터 세트에 대해 학습되지 않았습니다. SFT 기본 모델 \(S\)를 기준 모델로 사용하면 \(\gamma_{\pi_{ref}}\)의 평균은 \(-38.60\)입니다. 반면, sDPO의 1단계에서 정렬된 모델 \(M_{1}\)을 기준 모델로 사용하면 \(\gamma_{\pi_{ref}}\)의 평균은 \(-25.10\)으로, _log scale_에서 \(13.50\)이 증가합니다. 따라서 단 한 단계의 sDPO는 \(\gamma_{\pi_{ref}}\)를 크게 증가시켜 표 2에서 볼 수 있듯이 더 성능이 좋은 정렬 모델을 생성합니다.
정렬 튜닝 측면에서 sDPO의 효과.Sec. 2.2에서는 sDPO의 기준 모델이 더 정렬되어 있어 \(\감마_{\pi_{ref}}\)가 더 높아지고, 즉 더 엄격한 하한이 된다는 것을 설명합니다. 위의 내용은 그림 2에서 sDPO의 1단계와 2단계의 기준 모델, 즉 \(-S\)와 \(M_{1}\)에 대한 Ultrafeedback Cleaned 데이터 세트의 평균 \(\감마_{\pi_{ref}}\)를 비교하여 경험적으로 확인할 수 있습니다. 이 두 모델은 앞서 언급한 데이터 세트에 대해 학습되지 않았습니다. SFT 기본 모델 \(S\)를 기준 모델로 사용하면 \(\gamma_{\pi_{ref}}\)의 평균은 \(-38.60\)입니다. 반면, sDPO의 1단계에서 정렬된 모델 \(M_{1}\)을 기준 모델로 사용하면 \(\gamma_{\pi_{ref}}\)의 평균은 \(-25.10\)으로, _로그 스케일_에서 \(13.50\)이 증가합니다. 따라서 단 한 단계의 sDPO는 \(\감마_{\pi_{ref}}\)를 크게 증가시켜 표 2에서 볼 수 있듯이 더 성능이 좋은 정렬 모델을 생성합니다.