However, as shown in Fig. 3, initializing the target model as \(S\) results in a much bigger initial loss than that of \(M_{t-1}\), which could lead to an unstable training. The main reason is that DPO training is usually done where the reference and target models are the same. In contrast, initializing the target model as \(S\) creates a differential in the reference and target models, which may be amplified as the steps progress. Thus, for stable training, initializing the target model as \(M_{t-1}\) was chosen for sDPO.
그러나, Fig. 3에서 볼 수 있듯이, 대상 모델을 \(S\)로 초기화하면 \(M_{t-1}\)보다 훨씬 큰 초기 손실이 발생하여 훈련이 불안정해질 수 있습니다. 주요 이유는 DPO 훈련이 일반적으로 참조 모델과 대상 모델이 동일한 경우에 수행되기 때문입니다. 반면, 대상 모델을 \(S\)로 초기화하면 참조 모델과 대상 모델 간의 차이가 생기며, 이는 단계가 진행됨에 따라 증폭될 수 있습니다. 따라서 안정적인 훈련을 위해 sDPO에서는 대상 모델을 \(M_{t-1}\)로 초기화하는 것이 선택되었습니다.
그러나 그림 3에서 볼 수 있듯이 목표 모델을 \(S\)로 초기화하면 \(M_{t-1}\)보다 훨씬 큰 초기 손실이 발생하여 불안정한 훈련으로 이어질 수 있습니다. 주된 이유는 DPO 훈련은 일반적으로 참조 모델과 목표 모델이 동일한 경우에 수행되기 때문입니다. 반면에 목표 모델을 \(S\)로 초기화하면 참조 모델과 목표 모델에 차이가 생기며, 이 차이는 단계가 진행됨에 따라 증폭될 수 있습니다. 따라서 안정적인 훈련을 위해 목표 모델을 \(M_{t-1}\)로 초기화하는 방법을 sDPO에 선택했습니다.