We discuss the derivation of CPO objective, beginning with an analysis of Direct Preference Optimization (DPO) (Rafailov et al., 2023). DPO represents a more direct optimization objective utilized in reinforcement learning from human feedback (RLHF) (Ziegler et al., 2019; Ouyang et al., 2022). Given a set of source sentences \(x\), alongside preferred translation targets \(y_{w}\) and less preferred ones \(y_{l}\), we can access a static dataset of comparisons, denoted as \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\).
우리는 Direct Preference Optimization (DPO)(Rafailov et al., 2023)에 대한 분석부터 시작하여 CPO objective의 도출에 대해 논의한다. DPO는 Reinforcement Learning from Human Feedback (RLHF)(Ziegler et al., 2019; Ouyang et al., 2022)에서 활용되는 보다 직접적인 optimization objective를 나타낸다. 선호하는 번역 대상 \(y_{w}\)와 선호도가 낮은 번역 대상 \(y_{l}\)과 함께 소스 문장 집합 \(x\)가 주어지면, \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\)으로 표시되는 정적 비교 데이터 세트에 액세스할 수 있다.
우리는 직접 선호도 최적화(DPO)(Rafailov et al., 2023)에 대한 분석부터 시작하여 CPO 목표의 도출에 대해 논의한다. DPO는 인간 피드백으로부터의 강화 학습(RLHF)(Ziegler et al., 2019; Ouyang et al., 2022)에서 활용되는 보다 직접적인 최적화 목표를 나타낸다. 선호하는 번역 대상 \(y_{w}\)와 선호도가 낮은 번역 대상 \(y_{l}\)과 함께 소스 문장 집합 \(x\)가 주어지면, \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\)으로 표시되는 정적 비교 데이터 세트에 액세스할 수 있다.