The memory- or speed- inefficiency can be resolved when \(\pi_{\text{ref}}\) is set as a uniform prior \(U\), as the terms \(\pi_{\text{ref}}(y_{w}|x)\) and \(\pi_{\text{ref}}(y_{l}|x)\) cancel each other out. This negates the need for additional computations and storage beyond the policy model itself.
메모리 또는 속도의 비효율성은 \(\pi_{\text{ref}}\)를 균일 사전 \(U\)로 설정하면 해결될 수 있습니다. 이는 \(\pi_{\text{ref}}(y_{w}|x)\)와 \(\pi_{\text{ref}}(y_{l}|x)\) 항이 서로 상쇄되기 때문입니다. 이로 인해 정책 모델 자체 외에 추가적인 계산 및 저장이 필요하지 않게 됩니다.
pi_{\text{ref}}\)를 균일한 선행 \(U\)로 설정하면 \(\pi_{\text{ref}}(y_{w}|x\) 항과 \(\pi_{\text{ref}}(y_{l}|x\) 항이 서로 상쇄되므로 메모리 또는 속도 비효율성을 해결할 수 있습니다. 이렇게 하면 정책 모델 자체 외에 추가 계산과 저장 공간이 필요하지 않습니다.