**Proposition 1**.: _Assume, we have a reference model, such that \(\pi_{\text{ref}}(y|x)>0\) for all pairs of prompts \(x\) and answers \(y\) and a parameter \(\beta>0\). Then every equivalence class of reward functions, as defined in Section 5, has a unique reward function \(r(x,y)\), which can be reparameterized as \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\) for some model \(\pi(y|x)\)._Proof.: We will proceed using proof by contradiction. Assume we have two reward functions from the same class, such that \(r^{\prime}(x,y)=r(x,y)+f(x)\). Moreover, assume that \(r^{\prime}(x,y)=\beta\log\frac{\pi^{\prime}(y|x)}{\pi_{\text{ref}}(y|x)}\) for some model \(\pi^{\prime}(y|x)\) and \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\) for some model \(\pi(y|x)\), such that \(\pi\neq\pi^{\prime}\).
**명제 1**.: _모든 프롬프트 \(x\)와 답변 \(y\) 쌍에 대해 \(\pi_{\text{ref}}(y|x)>0\)이고 파라미터 \(\beta>0\)인 참조 모델이 있다고 가정합니다. 그러면 섹션 5에서 정의한 reward 함수의 모든 등가 클래스에는 어떤 모델 \(\pi(y|x)\)에 대해 \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\)로 재매개변수화할 수 있는 고유한 reward 함수 \(r(x,y)\)가 있습니다._Proof.: 우리는 모순에 의한 증명을 사용하여 진행할 것입니다. 동일한 클래스에서 두 개의 reward 함수가 있다고 가정하고, \(r^{\prime}(x,y)=r(x,y)+f(x)\)라고 가정합니다. 또한, 어떤 모델 \(\pi^{\prime}(y|x)\)에 대해 \(r^{\prime}(x,y)=\beta\log\frac{\pi^{\prime}(y|x)}{\pi_{\text{ref}}(y|x)}\), 어떤 모델 \(\pi(y|x)\)에 대해 \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\), 즉, \(\pi\neq\pi^{\prime}\)가 되도록 가정합니다.
**명제 1**.: _모든 프롬프트 \(x\)와 답변 \(y\) 쌍에 대해 \(\pi_{\text{ref}}(y|x)>0\)이고 파라미터 \(\beta>0\)인 참조 모델이 있다고 가정합니다. 그러면 섹션 5에서 정의한 보상 함수의 모든 등가 클래스에는 어떤 모델 \(\pi(y|x)\)에 대해 \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\)로 재매개변수화할 수 있는 고유한 보상 함수 \(r(x,y)\)가 있습니다._Proof.: 우리는 모순에 의한 증명을 사용하여 진행할 것입니다. 동일한 클래스에서 두 개의 보상 함수가 있다고 가정하고, \(r^{\prime}(x,y)=r(x,y)+f(x)\)라고 가정합니다. 또한, 어떤 모델 \(\pi^{\prime}(y|x)\)에 대해 \(r^{\prime}(x,y)=\beta\log\frac{\pi^{\prime}(y|x)}{\pi_{\text{ref}}(y|x)}\), 어떤 모델 \(\pi(y|x)\)에 대해 \(r(x,y)=\beta\log\frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)}\), 즉, \(\pi\neq\pi^{\prime}\)가 되도록 가정합니다.