where \(\hat{r}_{\theta}(x,y)=\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}\) is the reward implicitly defined by the language model \(\pi_{\theta}\) and reference model \(\pi_{\text{ref}}\) (more in Section 5). Intuitively, the gradient of the loss function \(\mathcal{L}_{\text{DPO}}\) increases the likelihood of the preferred completions \(y_{w}\) and decreases the likelihood of dispreferred completions \(y_{l}\). Importantly, the examples are weighed by how much higher the implicit reward model \(\hat{r}_{\theta}\) rates the dispreferred completions, scaled by \(\beta\), i.e, how incorrectly the implicit reward model orders the completions, accounting for the strength of the KL constraint. Our experiments suggest the importance of this weighting, as a naive version of this method without the weighting coefficient can cause the language model to degenerate (Appendix Table 3).
여기서 \(\hat{r}_{\theta}(x,y)=\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}\)는 언어 모델 \(\pi_{\theta}\)와 참조 모델 \(\pi_{\text{ref}}\)에 의해 암시적으로 정의된 reward입니다(5절 참조). 직관적으로 loss function \(\mathcal{L}_{\text{DPO}}\)의 gradient는 선호되는 완성 \(y_{w}\)의 가능성을 증가시키고 선호되지 않는 완성 \(y_{l}\)의 가능성을 감소시킵니다. 중요한 것은, 예제는 선호되지 않는 완성을 암시적 reward 모델 \(\hat{r}_{\theta}\)가 얼마나 높게 평가하는지, 즉, 암시적 reward 모델이 완성을 얼마나 잘못 순서화하는지에 따라 가중치가 부여되며, 이는 KL 제약의 강도를 고려한 \(\beta\)로 스케일링된다는 점입니다. 실험 결과, 가중 계수가 없는 이 방법의 원시 버전은 언어 모델이 변질될 수 있으므로 이러한 가중치의 중요성을 시사합니다(부록 표 3).
여기서 \(\hat{r}_{\theta}(x,y)=\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}\)는 언어 모델 \(\pi_{\theta}\)와 참조 모델 \(\pi_{\text{ref}}\)에 의해 암시적으로 정의된 보상입니다(5절 참조). 직관적으로 손실 함수 \(\mathcal{L}_{\text{DPO}}\)의 기울기는 선호되는 완성 \(y_{w}\)의 가능성을 증가시키고 선호되지 않는 완성 \(y_{l}\)의 가능성을 감소시킵니다. 중요한 것은, 예제는 선호되지 않는 완성을 얼마나 높게 평가하는지, 즉, 암시적 보상 모델이 완성을 얼마나 잘못 순서화하는지에 따라 가중치가 부여되며, 이는 KL 제약의 강도를 고려한 \(\beta\)로 스케일링된다는 점입니다. 실험 결과, 가중 계수가 없는 이 방법의 원시 버전은 언어 모델이 변질될 수 있으므로 이러한 가중치의 중요성을 시사합니다(부록 표 3).