The contrastive preference optimization is originally defined as minimizing \(\mathcal{L}(\pi_{\theta};U)\) under the constraint of minimizing the difference between preferred data distribution and outputs of the learnable policy:
대조적 선호도 optimization은 원래 선호 데이터 분포와 학습 가능한 정책의 출력 간의 차이를 최소화하는 제약 조건 하에서 \(\mathcal{L}(\pi_{\theta};U)\)를 최소화하는 것으로 정의된다:
대조적 선호도 최적화는 원래 선호 데이터 분포와 학습 가능한 정책의 출력 간의 차이를 최소화하는 제약 조건 하에서 \(\mathcal{L}(\pi_{\theta};U)\)를 최소화하는 것으로 정의된다: