where \(Z(x)=\sum_{y}\pi_{\text{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)\) is the partition function. See Appendix A.1 for a complete derivation. Even if we use the MLE estimate \(r_{\phi}\) of the ground-truth reward function \(r^{*}\), it is still expensive to estimate the partition function \(Z(x)\)[17; 15], which makes this representation hard to utilize in practice. However, we can rearrange Eq. 4 to express the reward function in terms of its corresponding optimal policy \(\pi_{r}\), the reference policy \(\pi_{\text{ref}}\), and the unknown partition function \(Z(\cdot)\).
여기서 \(Z(x)=\sum_{y}\pi_{\text{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)\)는 partition function입니다. 자세한 도출은 부록 A.1을 참조하세요. 실제로 지상 실측 보상 함수 \(r^{*}\)의 MLE 추정치 \(r_{\phi}\)를 사용하더라도 partition function \(Z(x)\)[17; 15]를 추정하는 것은 여전히 비용이 많이 들기 때문에 이 표현을 실제로 활용하기 어렵습니다. 그러나 방정식 4를 재구성하여 보상 함수를 해당 최적 정책 \(\pi_{r}\), 기준 정책 \(\pi_{\text{ref}}\), 미지의 partition function \(Z(\cdot)\)로 표현할 수 있습니다.
여기서 \(Z(x)=\sum_{y}\pi_{\text{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)\)는 분할 함수입니다. 자세한 도출은 부록 A.1을 참조하세요. 실제로 지상 실측 보상 함수 \(r^{*}\)의 MLE 추정치 \(r_{\phi}\)를 사용하더라도 분할 함수 \(Z(x)\)[17; 15]를 추정하는 것은 여전히 비용이 많이 들기 때문에 이 표현을 실제로 활용하기 어렵습니다. 그러나 방정식 4를 재구성하여 보상 함수를 해당 최적 정책 \(\pi_{r}\), 기준 정책 \(\pi_{\text{ref}}\), 미지의 분할 함수 \(Z(\cdot)\)로 표현할 수 있습니다.