\(\gamma_{\pi_{\theta}}>\gamma_{\pi_{ref}}\) (on average). Thus, \(\gamma_{\pi_{ref}}\) can be understood as a lower bound defined by the reference model, of which the target model is trained such that \(\gamma_{\pi_{\theta}}>\gamma_{\pi_{ref}}\). In sDPO, \(\gamma_{\pi_{ref}}\) increases as the steps progress because the reference model that defines it is more and more aligned. Hence, \(\gamma_{\pi_{ref}}\) becomes a stricter lower bound as the steps pass, inducing a curriculum learning from easy to hard optimization tasks.
\(\gamma_{\pi_{\theta}}>\gamma_{\pi_{ref}}\)(평균). 따라서 \(\gamma_{\pi_{ref}}\)는 참조 모델에 의해 정의된 하한으로 이해할 수 있으며, 대상 모델은 \(\gamma_{\pi_{\theta}}>\gamma_{\pi_{ref}}\)가 되도록 학습됩니다. sDPO에서 \(\gamma_{\pi_{ref}}\)는 이를 정의하는 참조 모델이 점점 더 정렬되기 때문에 단계가 진행됨에 따라 증가합니다. 따라서 \(\gamma_{\pi_{ref}}\)는 단계가 지남에 따라 더 엄격한 하한이 되어 쉬운 optimization 작업에서 어려운 optimization 작업으로 curriculum learning을 유도합니다.
\(\감마_{\pi_{\theta}}>\감마_{\pi_{ref}}\)(평균). 따라서 \(\감마_{\pi_{ref}}\)는 참조 모델에 의해 정의된 하한으로 이해할 수 있으며, 대상 모델은 \(\감마_{\pi_{\theta}}>\감마_{\pi_{ref}}\)가 되도록 학습됩니다. sDPO에서 \(\감마_{\pi_{ref}}\)는 이를 정의하는 참조 모델이 점점 더 정렬되기 때문에 단계가 진행됨에 따라 증가합니다. 따라서 \(\감마_{\pi_{ref}}\)는 단계가 지남에 따라 더 엄격한 하한이 되어 쉬운 최적화 작업에서 어려운 최적화 작업으로 커리큘럼 학습을 유도합니다.