We can also use our framework to diagnose instabilities with standard actor-critic algorithms used for the RLHF, such as PPO. We follow the RLHF pipeline and focus on the RL fine-tuning step outlined in Section 3. We can draw connections to the control as inference framework [20] for the constrained RL problem outlined in 3. We assume a parameterized model \(\pi_{\theta}(y\mid x)\) and minimize \(\mathbb{D}_{\text{KL}}[\pi_{\theta}(y|x)\mid\mid\pi^{*}(y\mid x)]\) where \(\pi^{*}\) is the optimal policy from Eq. 7 induced by the reward function \(r_{\phi}(y,x)\).
또한 RLHF에 사용되는 표준 actor-critic 알고리즘(예: PPO)의 불안정성을 진단하기 위해 프레임워크를 사용할 수 있습니다. RLHF 파이프라인을 따르고 섹션 3에 설명된 RL Fine-tuning 단계에 집중합니다. 3에 설명된 제약 RL 문제에 대한 제어로서 추론 프레임워크 [20]와의 연관성을 도출할 수 있습니다. 파라미터화된 모델 \(\pi_{\theta}(y\mid x)\)를 가정하고 \(\mathbb{D}_{\text{KL}}[\pi_{\theta}(y|x)\mid\mid\pi^{*}(y\mid x)]\)를 최소화하며, 여기서 \(\pi^{*}\)는 방정식 7에서 유도된 최적의 정책이며, 보상 함수 \(r_{\phi}(y,x)\)에 의해 유도됩니다.
또한 RLHF에 사용되는 표준 액터-비평가 알고리즘(예: PPO)의 불안정성을 진단하기 위해 프레임워크를 사용할 수 있습니다. RLHF 파이프라인을 따르고 섹션 3에 설명된 RL 미세 조정 단계에 집중합니다. 3에 설명된 제약 RL 문제에 대한 제어로서 추론 프레임워크 [20]와의 연관성을 도출할 수 있습니다. 파라미터화된 모델 \(\pi_{\theta}(y\mid x)\)를 가정하고 \(\mathbb{D}_{\text{KL}}[\pi_{\theta}(y|x)\mid\mid\pi^{*}(y\mid x)]\)를 최소화하며, 여기서 \(\pi^{*}\)는 방정식 7에서 유도된 최적의 정책이며, 보상 함수 \(r_{\phi}(y,x)\)에 의해 유도됩니다.