**Theorem 1**.: _When \(\pi_{\text{ref}}\) is defined as \(\pi_{w}\), an ideal policy that precisely aligns with the true data distribution of preferred data, the DPO loss \(\mathcal{L}(\pi_{\theta};\pi_{w})+C\) is upper bounded by \(\mathcal{L}(\pi_{\theta};U)\), where \(C\) is a constant._
**Theorem 1**.: _\(\pi_{\text{ref}}\)가 \(\pi_{w}\)로 정의될 때, 선호하는 데이터의 실제 데이터 분포와 정확히 일치하는 이상적인 정책인 경우, DPO 손실 \(\mathcal{L}(\pi_{\theta};\pi_{w})+C\)는 \(\mathcal{L}(\pi_{\theta};U)\)로 상한이 정해지며, 여기서 \(C\)는 상수입니다._
**정리 1**.: _π_{\text{ref}}\)가 선호 데이터의 실제 데이터 분포와 정확히 일치하는 이상적인 정책인 \(\pi_{w}\)로 정의될 때, DPO 손실 \(\mathcal{L}(\pi_{\theta};\pi_{w})+C\)는 \(\mathcal{L}(\pi_{\theta};U)\)로 상한이 정의되며, 여기서 \(C\)는 상수입니다.