Target model.For \(t>1\), the target model which is trained using the preference loss of DPO in each step of sDPO is also initialized as \(M_{t-1}\) instead of \(S\). This ensures that the final model trained with sDPO has been directly trained with the same amount data as a model trained with DPO.
대상 모델. \(t>1\)의 경우, sDPO의 각 단계에서 DPO의 preference loss를 사용하여 훈련되는 대상 모델도 \(S\) 대신 \(M_{t-1}\)로 초기화됩니다. 이렇게 하면 sDPO로 훈련된 최종 모델이 DPO로 훈련된 모델과 동일한 양의 데이터로 직접 훈련되었음을 보장합니다.
대상 모델.t>1\)의 경우, sDPO의 각 단계에서 DPO의 선호도 손실을 사용하여 훈련되는 대상 모델도 \(S\) 대신 \(M_{t-1}\)로 초기화됩니다. 이렇게 하면 sDPO로 훈련된 최종 모델이 DPO로 훈련된 모델과 동일한 양의 데이터로 직접 훈련되었음을 보장합니다.