where \(D\) is the preference dataset, \(x\) is the question, \(y_{w}\) and \(y_{l}\) are the chosen and rejected answers respectively, \(\theta\) is the learnable parameters of the model, and \(\gamma_{\pi}(x,y_{w},y_{l})=\log\frac{\pi(y_{w}|x)}{\pi(y_{l}|x)}\), _i.e.,_ the logratio of the chosen and rejected samples w.r.t. the policy \(\pi\).
여기서 \(D\)는 선호 데이터셋, \(x\)는 질문, \(y_{w}\)와 \(y_{l}\)는 각각 선택된 답변과 거부된 답변, \(\theta\)는 모델의 학습 가능한 매개변수, \(\gamma_{\pi}(x,y_{w},y_{l})=\log\frac{\pi(y_{w}|x)}{\pi(y_{l}|x)}\)는 정책 \(\pi\)에 대한 선택된 샘플과 거부된 샘플의 로그 비율을 나타냅니다.
여기서 \(D\)는 선호도 데이터 집합, \(x\)는 질문, \(y_{w}\)와 \(y_{l}\)는 각각 선택된 답과 거부된 답, \(\theta\)는 모델의 학습 가능한 파라미터, \(\gamma_{\pi}(x,y_{w},y_{l})=\log\frac{\pi(y_{w}|x)}{\pi(y_{l}|x)}\), 즉, 정책 \(\pi\)에 대한 선택된 샘플과 거부된 샘플의 로그비입니다.