The DPO loss \(\mathcal{L}_{\text{DPO}}=\mathcal{L}(\pi_{\theta},\pi_{\text{ref}})\) can also be utilized by adding our additional BC regularizer:
DPO 손실 \(\mathcal{L}_{\text{DPO}}=\mathcal{L}(\pi_{\theta},\pi_{\text{ref}})\)은 추가적인 BC 정규화를 추가하여 활용할 수 있습니다.
추가 BC 정규화기를 추가하여 DPO 손실 \(\mathcal{L}_{\text{DPO}}=\mathcal{L}(\pi_{\theta},\pi_{\text{ref}})\)도 활용할 수 있다: