The operator \(f\) simply normalizes the reward function with the logarithm of the partition function of \(\pi_{r}\). Since the added normalization term is only a function of the prefix \(x\), \(f(r;\pi_{\text{ref}},\beta)(x,y)\) is a reward function in the equivalence class of \(r(x,y)\). Finally, replacing \(r\) with the RHS of Eq. 5 (which holds for any reward function), we have \(f(r;\pi_{\text{ref}},\beta)(x,y)=\beta\log\frac{\pi_{r}(y|x)}{\pi_{\text{ref}} (y|x)}\). That is, the projection \(f\) produces a member of the equivalence class of \(r\) with the desired form, and we do not lose any generality in our reward model from the proposed reparameterization.
연산자 \(f\)는 단순히 보상 함수를 \(\pi_{r}\)의 분할 함수의 로그로 정규화합니다. 추가된 정규화 항은 접두사 \(x\)의 함수이므로 \(f(r;\pi_{\text{ref}},\beta)(x,y)\)는 \(r(x,y)\)의 등가 클래스에서 보상 함수입니다. 마지막으로, \(r\)을 Eq. 5의 RHS(모든 보상 함수에 대해 유지됨)로 바꾸면 \(f(r;\pi_{\text{ref}},\beta)(x,y)=\beta\log\frac{\pi_{r}(y|x)}{\pi_{\text{ref}} (y|x)}\)가 됩니다. 즉, projection \(f\)는 원하는 형태의 \(r\) 등가 클래스의 멤버를 생성하며, 제안된 reparameterization로 인해 보상 모델에서 일반성을 잃지 않습니다.
연산자 \(f\)는 단순히 보상 함수를 \(\pi_{r}\)의 분할 함수의 로그로 정규화합니다. 추가된 정규화 항은 접두사 \(x\)의 함수이므로 \(f(r;\pi_{\text{ref}},\beta)(x,y)\)는 \(r(x,y)\)의 등가 클래스에서 보상 함수입니다. 마지막으로, \(r\)을 Eq. 5의 RHS(모든 보상 함수에 대해 유지됨)로 바꾸면 \(f(r;\pi_{\text{ref}},\beta)(x,y)=\beta\log\frac{\pi_{r}(y|x)}{\pi_{\text{ref}} (y|x)}\)가 됩니다. 즉, 투영 \(f\)는 원하는 형태의 \(r\) 등가 클래스의 멤버를 생성하며, 제안된 재매개변수화로 인해 보상 모델에서 일반성을 잃지 않습니다.