The target model in each step of sDPO is also initialized with \(M_{t-1}\), the aligned model from the last step. This ensures that the final model in sDPO has undergone training with the same amount of data as the final model in DPO. On the other hand, one concern of such design choice is that it may become increasingly difficult to stabilize the training of the target model as the steps progress, since it has already undergone training with a decreasing learning rate schedule in the preceding steps. Thus, another option is to use the initial SFT base model \(S\) as the target model for all steps of sDPO.
sDPO의 각 단계의 target model도 마지막 단계의 정렬된 모델인 \(M_{t-1}\)로 초기화됩니다. 이렇게 하면 sDPO의 최종 모델은 DPO의 최종 모델과 동일한 양의 데이터로 학습을 거친 것입니다. 반면, 이러한 설계 선택의 한 가지 우려 사항은 이전 단계에서 이미 감소하는 Learning Rate 일정으로 학습을 거쳤기 때문에 단계가 진행됨에 따라 target model의 학습을 안정화하기가 점점 더 어려워질 수 있다는 것입니다. 따라서 또 다른 옵션은 sDPO의 모든 단계에 대해 초기 SFT 기본 모델 \(S\)를 target model로 사용하는 것입니다.
sDPO의 각 단계의 대상 모델도 마지막 단계의 정렬된 모델인 \(M_{t-1}\)로 초기화됩니다. 이렇게 하면 sDPO의 최종 모델은 DPO의 최종 모델과 동일한 양의 데이터로 학습을 거친 것입니다. 반면, 이러한 설계 선택의 한 가지 우려 사항은 이전 단계에서 이미 감소하는 학습 속도 일정으로 학습을 거쳤기 때문에 단계가 진행됨에 따라 대상 모델의 학습을 안정화하기가 점점 더 어려워질 수 있다는 것입니다. 따라서 또 다른 옵션은 sDPO의 모든 단계에 대해 초기 SFT 기본 모델 \(S\)를 대상 모델로 사용하는 것입니다.