In Table 16, we demonstrate that incorporating \(\mathcal{L}_{\text{NLL}}\) into the DPO objective results in notable enhancements for translations both to and from English. This observation hints at why \(\mathcal{L}\)prefer, as an approximation of \(\mathcal{L}_{\text{DPO}}\), performs effectively, while the original DPO loss does not. It appears that the DPO loss lacks the BC regularizer, which steers the model towards the preferred data distribution. Although combining DPO with the BC regularizer could yield similar performance to CPO, it incurs double the memory cost and FLOPs per token in the forward pass. The original DPO loss shows the possibility of failure to improve the model performance in preference learning, so we here highlight the significance of incorporating BC regularization. Importantly, Table 16 shows that \(\mathcal{L}_{\text{prefer}}\) is a successful approximation of the DPO loss, offering savings in memory and speed, and it can even outperform the original BC-regularized DPO loss \(\mathcal{L}_{\text{DPO}}+\mathcal{L}_{\text{NLL}}\).
표 16에서는 \(\mathcal{L}_{\text{NLL}}\)을 DPO Objective Function에 통합하면 영어로 또는 영어에서 번역되는 번역이 눈에 띄게 향상됨을 보여줍니다. 이 관찰은 왜 \(\mathcal{L}\)prefer가 \(\mathcal{L}_{\text{DPO}}\)의 approximation으로서 효과적으로 작동하는 반면 원래의 DPO Loss는 그렇지 않은지 암시합니다. DPO Loss에는 모델을 선호하는 데이터 분포로 유도하는 BC 정규화가 부족한 것으로 보입니다. DPO를 BC 정규화와 결합하면 CPO와 유사한 성능을 얻을 수 있지만, 포워드 패스에서 토큰당 메모리 비용과 FLOPs가 두 배로 증가합니다. 원래의 DPO Loss는 선호도 학습에서 모델 성능을 개선하지 못할 가능성을 보여주므로 여기서는 BC 정규화를 통합하는 것의 중요성을 강조합니다. 중요한 것은 표 16은 \(\mathcal{L}_{\text{prefer}}\)가 DPO Loss의 성공적인 approximation이며, 메모리와 속도를 절약할 수 있으며, 심지어 원래의 BC 정규화된 DPO Loss \(\mathcal{L}_{\text{DPO}}+\mathcal{L}_{\text{NLL}}\)보다 뛰어난 성능을 발휘할 수 있음을 보여줍니다.
표 16에서는 \(\mathcal{L}_{\text{NLL}}\)을 DPO 목적함수에 통합하면 영어로 또는 영어에서 번역되는 번역이 눈에 띄게 향상됨을 보여줍니다. 이 관찰은 왜 \(\mathcal{L}\)prefer가 \(\mathcal{L}_{\text{DPO}}\)의 근사치로서 효과적으로 작동하는 반면 원래의 DPO 손실은 그렇지 않은지 암시합니다. DPO 손실에는 모델을 선호하는 데이터 분포로 유도하는 BC 정규화가 부족한 것으로 보입니다. DPO를 BC 정규화와 결합하면 CPO와 유사한 성능을 얻을 수 있지만, 포워드 패스에서 토큰당 메모리 비용과 FLOPs가 두 배로 증가합니다. 원래의 DPO 손실은 선호도 학습에서 모델 성능을 개선하지 못할 가능성을 보여주므로 여기서는 BC 정규화를 통합하는 것의 중요성을 강조합니다. 중요한 것은 표 16은 \(\mathcal{L}_{\text{prefer}}\)가 DPO 손실의 성공적인 근사치이며, 메모리와 속도를 절약할 수 있으며, 심지어 원래의 BC 정규화된 DPO 손실 \(\mathcal{L}_{\text{DPO}}+\mathcal{L}_{\text{NLL}}\)보다 뛰어난 성능을 발휘할 수 있음을 보여줍니다.