Comparing SOLAR 10.7B + SFT + DPO and SOLAR 10.7B + SFT + sDPO, we can see that using sDPO over DPO results in a higher H4 score overall, with noticeable improvements in ARC and TruthfulQA scores. Therefore, we believe sDPO could function as a drop-in replacement for DPO training with better performance. Looking at SOLAR 10.7B + SFT + sDPO and SOLAR 10.7B + SFT + sDPO Strat., we see that the specific way of splitting the available DPO data into multiple \(D_{t}\) can also impact performance. We find that the natural split of using different preference datasets as \(D_{t}\) works best in our experiments. We believe further exploration of how to define \(D_{t}\) is an interesting direction for future research.
SOLAR 10.7B + SFT + DPO와 SOLAR 10.7B + SFT + sDPO를 비교해보면, DPO 대신 sDPO를 사용했을 때 전반적으로 더 높은 H4 점수를 얻을 수 있으며, ARC와 TruthfulQA 점수에서도 눈에 띄는 향상이 있음을 알 수 있습니다. 따라서 sDPO가 DPO 훈련의 대체제로서 더 나은 성능을 발휘할 수 있다고 생각합니다. SOLAR 10.7B + SFT + sDPO와 SOLAR 10.7B + SFT + sDPO Strat.을 살펴보면, 사용 가능한 DPO 데이터를 여러 \(D_{t}\)로 나누는 특정 방식도 성능에 영향을 미칠 수 있음을 알 수 있습니다. 우리의 실험에서는 서로 다른 선호 데이터셋을 \(D_{t}\)로 사용하는 자연스러운 분할이 가장 효과적이라는 것을 발견했습니다. \(D_{t}\)를 정의하는 방법에 대한 추가 탐구가 향후 연구에서 흥미로운 방향이 될 것이라고 믿습니다.
SOLAR 10.7B + SFT + DPO와 SOLAR 10.7B + SFT + sDPO를 비교하면 DPO보다 sDPO를 사용하면 전체적으로 더 높은 H4 점수를 얻을 수 있으며, 특히 ARC 및 TruthfulQA 점수가 눈에 띄게 향상되는 것을 알 수 있습니다. 따라서 저희는 sDPO가 더 나은 성능으로 DPO 훈련을 대체할 수 있다고 생각합니다. SOLAR 10.7B + SFT + sDPO와 SOLAR 10.7B + SFT + sDPO Strat.를 살펴보면, 사용 가능한 DPO 데이터를 여러 개의 \(D_{t}\)로 분할하는 특정 방법도 성능에 영향을 미칠 수 있음을 알 수 있습니다. 실험 결과, 서로 다른 선호도 데이터 세트를 \(D_{t}\)로 사용하는 자연스러운 분할이 가장 효과적인 것으로 나타났습니다. D_{t}\)를 정의하는 방법을 추가로 탐색하는 것은 향후 연구의 흥미로운 방향이라고 생각합니다.