The concept of aligning models with human preference originally emerged in the context of training simple robots in virtual environments or Atari games (Christiano et al., 2017; Ibarz et al., 2018) and was subsequently applied to various Natural Language Processing tasks. For example, Ziegleret al. (2019) employed Proximal Policy Optimization (PPO) Schulman et al. (2017), an RL algorithm, to fine-tune GPT-2 Radford et al. (2019) based on human preferences, improving its performance across four NLP tasks. Building on these prior works, Ouyang et al. (2022) introduced InstructGPT, a model based on GPT-3 Brown et al. (2020), which they further fine-tuned using reinforcement learning from human feedback (RLHF). Additionally, Ouyang et al. (2022) formally outlined the RLHF algorithm, which encompasses SFT, reward model (RM) training, and reinforcement learning via Proximal Policy Optimization (PPO). The RLHF algorithm not only enhances the model's ability to follow instructions but also shows promising potential to mitigate the generation of toxic or harmful content.
모델을 인간의 선호도에 맞추는 개념은 원래 가상 환경이나 아타리 게임에서 단순한 로봇을 훈련하는 맥락에서 등장했습니다(Christiano et al., 2017; Ibarz et al., 2018), 이후 다양한 자연어 처리 작업에 적용되었습니다. 예를 들어, Ziegleret al. (2019)은 RL 알고리즘인 Proximal Policy Optimization (PPO) Schulman et al. (2017)을 사용하여 인간의 선호도에 따라 GPT-2 Radford et al. (2019)을 Fine-tuning하여 4개의 NLP 작업에서 성능을 개선했습니다. 이러한 선행 연구를 바탕으로 Ouyang et al. (2022)은 Reinforcement Learning from Human Feedback (RLHF)을 통한 Reinforcement Learning을 사용하여 추가로 Fine-tuning한 GPT-3 Brown et al. (2020)을 기반으로 하는 모델인 InstructGPT를 도입했습니다. 또한 Ouyang et al. (2022)은 SFT, 보상 모델(RM) 훈련, Proximal Policy Optimization (PPO)를 통한 Reinforcement Learning을 포함하는 RLHF 알고리즘을 공식적으로 설명했습니다. RLHF 알고리즘은 모델의 Instruction 수행 능력을 향상시킬 뿐만 아니라 독이거나 유해한 콘텐츠의 생성을 완화할 수 있는 유망한 잠재력을 보여줍니다.
모델을 인간의 선호도에 맞추는 개념은 원래 가상 환경이나 아타리 게임에서 단순한 로봇을 훈련하는 맥락에서 등장했습니다(Christiano et al., 2017; Ibarz et al., 2018), 이후 다양한 자연어 처리 작업에 적용되었습니다. 예를 들어, Ziegleret al. (2019)은 RL 알고리즘인 근접 정책 최적화(PPO) Schulman et al. (2017)을 사용하여 인간의 선호도에 따라 GPT-2 Radford et al. (2019)을 미세 조정하여 4개의 NLP 작업에서 성능을 개선했습니다. 이러한 선행 연구를 바탕으로 Ouyang et al. (2022)은 인간 피드백(RLHF)을 통한 강화 학습을 사용하여 추가로 미세 조정한 GPT-3 Brown et al. (2020)을 기반으로 하는 모델인 InstructGPT를 도입했습니다. 또한 Ouyang et al. (2022)은 SFT, 보상 모델(RM) 훈련, 근접 정책 최적화(PPO)를 통한 강화 학습을 포함하는 RLHF 알고리즘을 공식적으로 설명했습니다. RLHF 알고리즘은 모델의 명령어 수행 능력을 향상시킬 뿐만 아니라 독이거나 유해한 콘텐츠의 생성을 완화할 수 있는 유망한 잠재력을 보여줍니다.