where \(\sigma\) is the logistic function. In the context of LMs, the network \(r_{\phi}(x,y)\) is often initialized from the SFT model \(\pi^{\text{SFT}}(y\mid x)\) with the addition of a linear layer on top of the final transformer layer that produces a single scalar prediction for the reward value [49]. To ensure a reward function with lower variance, prior works normalize the rewards, such that \(\mathbb{E}_{x,y\sim\mathcal{D}}\left[r_{\phi}(x,y)\right]=0\text{ for all }x\).
여기서 \(\sigma\)는 로지스틱 함수입니다. LMs의 맥락에서 네트워크 \(r_{\phi}(x,y)\)는 보상 값에 대한 단일 스칼라 예측을 생성하는 최종 transformer 레이어 위에 선형 레이어를 추가하여 SFT 모델 \(\pi^{\text{SFT}}(y\mid x)\)에서 초기화되는 경우가 많습니다[49]. 분산이 낮은 보상 함수를 보장하기 위해 이전 작업에서는 보상을 정규화하여 \(\mathbb{E}_{x,y\sim\mathcal{D}}\left[r_{\phi}(x,y)\right]=0\text{ for all }x\).
여기서 \(\sigma\)는 로지스틱 함수입니다. LM의 맥락에서 네트워크 \(r_{\phi}(x,y)\)는 보상 값에 대한 단일 스칼라 예측을 생성하는 최종 트랜스포머 레이어 위에 선형 레이어를 추가하여 SFT 모델 \(\pi^{\text{SFT}}(y\mid x)\)에서 초기화되는 경우가 많습니다[49]. 분산이 낮은 보상 함수를 보장하기 위해 이전 작업에서는 보상을 정규화하여 \(\mathbb{E}_{x,y\sim\mathcal{D}}\left[r_{\phi}(x,y)\right]=0\text{ for all }x\).