To align LLMs with human values, reinforcement learning from human feedback (RLHF) [79, 367] has been proposed to fine-tune LLMs with the collected human feedback data, which is useful to improve the alignment criteria (_e.g._, helpfulness, honesty, and harmlessness). RLHF employs reinforcement learning (RL) algorithms (_e.g._, Proximal Policy Optimization (PPO) [128]) to adapt LLMs to human feedback by learning a reward model. Such an approach incorporates humans in the training loop for developing well-aligned LLMs, as exemplified by InstructGPT [66].
인간의 가치관에 맞게 LLM을 조정하기 위해 수집된 인간 피드백 데이터로 LLM을 Fine-tuning하는 Reinforcement Learning from Human Feedback (RLHF) [79, 367]이 제안되었으며, 이는 alignment 기준(예: 유용성, 정직성, 무해성)을 개선하는 데 유용합니다. RLHF는 Reinforcement Learning (RL) 알고리즘(예: Proximal Policy Optimization (PPO) [128])을 사용하여 보상 모델을 학습하여 인간 피드백에 맞게 LLM을 조정합니다. 이러한 접근 방식은 잘 정렬된 LLM을 개발하기 위해 훈련 루프에 인간을 통합하는데, InstructGPT [66]에서 예시된 것처럼 말입니다.
인간의 가치관에 맞게 LLM을 조정하기 위해 수집된 인간 피드백 데이터로 LLM을 미세 조정하는 강화 학습[79, 367]이 제안되었으며, 이는 정렬 기준(예: 유용성, 정직성, 무해성)을 개선하는 데 유용합니다. RLHF는 보강 학습(RL) 알고리즘(예: 근접 정책 최적화(PPO) [128])을 사용하여 보상 모델을 학습하여 인간 피드백에 맞게 LLM을 조정합니다. 이러한 접근 방식은 잘 정렬된 LLM을 개발하기 위해 훈련 루프에 인간을 통합하는데, InstructGPT [66]에서 예시된 것처럼 말입니다.