**CPO Loss Components** The CPO loss function consists of two components: \(\mathcal{L}_{\text{prefer}}\) for preference learning, and \(\mathcal{L}_{\text{NLL}}\), which ensures the model does not deviate significantly from the preferred data distribution. To illustrate the significance of each term, we re-train the model exclusively with one of the components. It is important to note that training solely with \(\mathcal{L}_{\text{NLL}}\) equates to the baseline scenario of SFT on preferred data. As depicted in the left of Figure 4, the inclusion of both terms yields the optimal performance, while the absence of either leads to a decrease in performance.
**CPO Loss Components** CPO Loss function은 선호도 학습을 위한 \(\mathcal{L}_{\text{prefer}}\)와 모델이 선호하는 데이터 분포에서 크게 벗어나지 않도록 하는 \(\mathcal{L}_{\text{NLL}}\)의 두 가지 구성 요소로 구성됩니다. 각 항의 중요성을 설명하기 위해 모델을 구성 요소 중 하나만으로만 다시 훈련합니다. 중요한 점은 \(\mathcal{L}_{\text{NLL}}\)만으로 훈련하는 것은 선호 데이터에 대한 Supervised Fine-tuning (SFT)의 기본 시나리오와 같다는 것입니다. 그림 4의 왼쪽에 표시된 것처럼 두 항을 모두 포함하면 최적의 성능을 얻을 수 있지만, 어느 하나라도 누락하면 성능이 저하됩니다.
**CPO 손실 구성 요소** CPO 손실 함수는 선호도 학습을 위한 \(\mathcal{L}_{\text{prefer}}\)와 모델이 선호하는 데이터 분포에서 크게 벗어나지 않도록 하는 \(\mathcal{L}_{\text{NLL}}\)의 두 가지 구성 요소로 구성됩니다. 각 항의 중요성을 설명하기 위해 모델을 구성 요소 중 하나만으로만 다시 훈련합니다. 중요한 점은 \(\mathcal{L}_{\text{NLL}}\)만으로 훈련하는 것은 선호 데이터에 대한 SFT의 기본 시나리오와 같다는 것입니다. 그림 4의 왼쪽에 표시된 것처럼 두 항을 모두 포함하면 최적의 성능을 얻을 수 있지만, 어느 하나라도 누락하면 성능이 저하됩니다.