Motivated by the challenges of applying reinforcement learning algorithms on large-scale problems such as fine-tuning language models, our goal is to derive a simple approach for policy optimization using preferences directly. Unlike prior RLHF methods, which learn a reward and then optimize it via RL, our approach leverages a particular choice of reward model parameterization that enables extraction of its optimal policy in closed form, without an RL training loop. As we will describe next in detail, our key insight is to leverage an analytical mapping from reward functions to optimal policies, which enables us to transform a loss function over reward functions into a loss function over policies. This change-of-variables approach avoids fitting an explicit, standalone reward model, while still optimizing under existing models of human preferences, such as the Bradley-Terry model. In essence, the policy network represents both the language model and the (implicit) reward.
언어 모델 Fine-tuning과 같은 대규모 문제에 Reinforcement learning 알고리즘을 적용하는 데 따르는 어려움에서 동기를 얻어, 우리의 목표는 바로 선호도를 직접 사용하여 정책 최적화를 위한 간단한 접근법을 도출하는 것입니다. 보상을 학습한 다음 Reinforcement learning을 통해 최적화하는 기존 RLHF 방법과 달리, 우리의 접근 방식은 Reinforcement learning 훈련 루프 없이 폐쇄 형식으로 최적의 정책을 추출할 수 있는 특정 보상 모델 파라미터화를 활용합니다. 다음에서 자세히 설명하겠지만, 우리의 핵심 인사이트는 보상 함수에서 최적의 정책으로의 분석적 매핑을 활용하여 보상 함수에 대한 Loss 함수를 정책에 대한 Loss 함수로 변환할 수 있다는 것입니다. 이 변수 변경 접근 방식은 명시적인 독립형 보상 모델을 피하면서도 Bradley-Terry 모델과 같은 기존의 선호도 모델에서 최적화할 수 있습니다. 본질적으로 정책 네트워크는 언어 모델과 (암시적) 보상을 모두 나타냅니다.
언어 모델 미세 조정과 같은 대규모 문제에 강화 학습 알고리즘을 적용하는 데 따르는 어려움에서 동기를 얻어, 우리의 목표는 바로 선호도를 직접 사용하여 정책 최적화를 위한 간단한 접근법을 도출하는 것입니다. 보상을 학습한 다음 RL을 통해 최적화하는 기존 RLHF 방법과 달리, 우리의 접근 방식은 RL 훈련 루프 없이 폐쇄 형식으로 최적의 정책을 추출할 수 있는 특정 보상 모델 파라미터화를 활용합니다. 다음에서 자세히 설명하겠지만, 우리의 핵심 인사이트는 보상 함수에서 최적의 정책으로의 분석적 매핑을 활용하여 보상 함수에 대한 손실 함수를 정책에 대한 손실 함수로 변환할 수 있다는 것입니다. 이 변수 변경 접근 방식은 명시적인 독립형 보상 모델을 피하면서도 브래들리-테리 모델과 같은 기존의 선호도 모델에서 최적화할 수 있습니다. 본질적으로 정책 네트워크는 언어 모델과 (암시적) 보상을 모두 나타냅니다.