\[\max_{\pi_{\theta}}\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(y\mid x)} \big{[}r_{\phi}(x,y)\big{]}-\beta\mathbb{D}_{\text{KL}}\big{[}\pi_{\theta}(y \mid x)\mid\mid\pi_{\text{ref}}(y\mid x)\big{]} \tag{3}\]where \(\beta\) is a parameter controlling the deviation from the base reference policy \(\pi_{\text{ref}}\), namely the initial SFT model \(\pi^{\text{SFT}}\). In practice, the language model policy \(\pi_{\theta}\) is also initialized to \(\pi^{\text{SFT}}\). The added constraint is important, as it prevents the model from deviating too far from the distribution on which the reward model is accurate, as well as maintaining the generation diversity and preventing mode-collapse to single high-reward answers. Due to the discrete nature of language generation, this objective is not differentiable and is typically optimized with reinforcement learning. The standard approach [49; 38; 1; 26] has been to construct the reward function \(r(x,y)=r_{\phi}(x,y)-\beta(\log\pi_{\theta}(y\mid x)-\log\pi_{\text{ref}}(y \mid x))\), and maximize using PPO [37].
\[\max_{\pi_{\theta}}\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(y\mid x)} \big{[}r_{\phi}(x,y)\big{]}-\beta\mathbb{D}_{\text{KL}}\big{[}\pi_{\theta}(y \mid x)\mid\mid\pi_{\text{ref}}(y\mid x)\big{]} \tag{3}\]여기서 \(\beta\)는 기본 기준 정책 \(\pi_{\text{ref}}\), 즉 초기 Supervised Fine-tuning (SFT) 모델 \(\pi^{\text{SFT}}\)에서의 편차를 제어하는 파라미터입니다. 실제로 언어 모델 정책 \(\pi_{\theta}\)도 \(\pi^{\text{SFT}}\)로 초기화됩니다. 이 추가 제약 조건은 보상 모델이 정확한 분포에서 모델이 너무 멀리 벗어나는 것을 방지하고 생성 다양성을 유지하며 모드 붕괴를 단일 고보상 답변으로 방지하는 데 중요합니다. 언어 생성의 불연속적인 특성으로 인해 이 목적은 미분이 불가능하며 일반적으로 Reinforcement Learning으로 최적화됩니다. 표준 접근 방식 [49; 38; 1; 26]은 보상 함수 \(r(x,y)=r_{\phi}(x,y)-\beta(\log\pi_{\theta}(y\mid x)-\log\pi_{\text{ref}}(y \mid x))\), PPO [37]를 사용하여 최대화하는 것이었습니다.
\[\max_{\pi_{\theta}}\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(y\mid x)} \big{[}r_{\phi}(x,y)\big{]}-\beta\mathbb{D}_{\text{KL}}\big{[}\pi_{\theta}(y \mid x)\mid\mid\pi_{\text{ref}}(y\mid x)\big{]} \tag{3}\]여기서 \(\beta\)는 기본 기준 정책 \(\pi_{\text{ref}}\), 즉 초기 SFT 모델 \(\pi^{\text{SFT}}\)에서의 편차를 제어하는 파라미터입니다. 실제로 언어 모델 정책 \(\pi_{\theta}\)도 \(\pi^{\text{SFT}}\)로 초기화됩니다. 이 추가 제약 조건은 보상 모델이 정확한 분포에서 모델이 너무 멀리 벗어나는 것을 방지하고 생성 다양성을 유지하며 모드 붕괴를 단일 고보상 답변으로 방지하는 데 중요합니다. 언어 생성의 불연속적인 특성으로 인해 이 목적은 미분이 불가능하며 일반적으로 강화 학습으로 최적화됩니다. 표준 접근 방식 [49; 38; 1; 26]은 보상 함수 \(r(x,y)=r_{\phi}(x,y)-\beta(\log\pi_{\theta}(y\mid x)-\log\pi_{\text{ref}}(y \mid x))\), PPO [37]를 사용하여 최대화하는 것이었습니다.