In sDPO, we propose to use the available preference datasets in a stepwise manner instead of using them all at once. The comparison of the overall flow of DPO and sDPO is presented in Fig. 1.
sDPO에서는 모든 선호 데이터셋을 한 번에 사용하는 대신 단계적으로 사용하는 방법을 제안합니다. DPO와 sDPO의 전체 흐름 비교는 Fig. 1에 제시되어 있습니다.
sDPO에서는 사용 가능한 선호도 데이터 세트를 한 번에 모두 사용하는 대신 단계별 방식으로 사용할 것을 제안한다. DPO와 sDPO의 전체 흐름 비교는 Fig. 1에 나와 있다.