Bradley-Terry model [5], then fine-tune a language model to maximize the given reward using reinforcement learning algorithms, commonly REINFORCE [45], proximal policy optimization (PPO; [37]), or variants [32]. A closely-related line of work leverages LLMs fine-tuned for instruction following with human feedback to generate additional synthetic preference data for targeted attributes such as safety or harmlessness [2], using only weak supervision from humans in the form of a text rubric for the LLM's annotations. These methods represent a convergence of two bodies of work: one body of work on training language models with reinforcement learning for a variety of objectives [33; 27; 46] and another body of work on general methods for learning from human preferences [12; 19]. Despite the appeal of using relative human preferences, fine-tuning large language models with reinforcement learning remains a major practical challenge; this work provides a theoretically-justified approach to optimizing relative preferences without RL.
브래들리-테리 모델[5]을 사용한 다음 Reinforcement Learning 알고리즘, 일반적으로 REINFORCE[45], Proximal Policy Optimization (PPO; [37]) 또는 변형[32]을 사용하여 주어진 보상을 최대화하도록 언어 모델을 Fine-tuning합니다. 이와 밀접한 관련이 있는 연구 분야는 안전성이나 무해성과 같은 특정 속성에 대해 인간 피드백을 통해 Instruction 준수를 위해 Fine-tuning된 LLM을 활용하여 LLM의 주석에 대한 텍스트 루브릭 형태의 인간의 약한 감독만 사용하여 추가적인 합성 선호도 데이터를 생성하는 것입니다[2]. 이러한 방법은 다양한 목표를 위해 Reinforcement Learning으로 언어 모델을 훈련하는 한 가지 작업[33; 27; 46]과 인간의 선호도로부터 학습하는 일반적인 방법에 대한 또 다른 작업[12; 19]이라는 두 가지 작업의 융합을 나타냅니다. 인간의 상대적 선호도를 사용하는 것의 매력에도 불구하고, Reinforcement Learning을 통해 대규모 언어 모델을 Fine-tuning하는 것은 여전히 주요한 실제 과제로 남아 있으며, 이 연구는 RL 없이 상대적 선호도를 최적화하기 위한 이론적으로 정당화된 접근 방식을 제공합니다.
브래들리-테리 모델[5]을 사용한 다음 강화 학습 알고리즘, 일반적으로 REINFORCE[45], 근접 정책 최적화(PPO; [37]) 또는 변형[32]을 사용하여 주어진 보상을 최대화하도록 언어 모델을 미세 조정합니다. 이와 밀접한 관련이 있는 연구 분야는 안전성이나 무해성과 같은 특정 속성에 대해 인간 피드백을 통해 지시 준수를 위해 미세 조정된 LLM을 활용하여 LLM의 주석에 대한 텍스트 루브릭 형태의 인간의 약한 감독만 사용하여 추가적인 합성 선호도 데이터를 생성하는 것입니다[2]. 이러한 방법은 다양한 목표를 위해 강화 학습으로 언어 모델을 훈련하는 한 가지 작업[33; 27; 46]과 인간의 선호도로부터 학습하는 일반적인 방법에 대한 또 다른 작업[12; 19]이라는 두 가지 작업의 융합을 나타냅니다. 인간의 상대적 선호도를 사용하는 것의 매력에도 불구하고, 강화 학습을 통해 대규모 언어 모델을 미세 조정하는 것은 여전히 주요한 실제 과제로 남아 있으며, 이 연구는 RL 없이 상대적 선호도를 최적화하기 위한 이론적으로 정당화된 접근 방식을 제공합니다.