Reinforcemnt Learning Another form of FT relies on RL or RL-inspired optimization strategies to better align the model after its pre-training phase. A few prominent examples are reinforcement learning from human feedback (RLHF) (OpenAI, 2023; Touvron et al., 2023), direct preference optimization (DPO) (Rafailov et al., 2023), and proximal policy optimization (PPO) (Schulman et al., 2017; Tunstall et al., 2023).
강화 학습 또 다른 형태의 FT는 사전 학습 단계 이후에 모델을 더 잘 정렬하기 위해 Reinforcement Learning 또는 Reinforcement Learning에서 영감을 얻은 최적화 전략에 의존합니다. 몇 가지 대표적인 예로는 Reinforcement Learning from Human Feedback (RLHF)(OpenAI, 2023; Touvron et al., 2023), Direct Preference Optimization (DPO)(Rafailov et al., 2023), Proximal Policy Optimization (PPO)(Schulman et al., 2017; Tunstall et al., 2023)가 있습니다.
강화 학습 또 다른 형태의 FT는 사전 학습 단계 이후에 모델을 더 잘 정렬하기 위해 RL 또는 RL에서 영감을 얻은 최적화 전략에 의존합니다. 몇 가지 대표적인 예로는 인간 피드백으로부터의 강화 학습(RLHF)(OpenAI, 2023; Touvron et al., 2023), 직접 선호도 최적화(DPO)(Rafailov et al., 2023), 근접 정책 최적화(PPO)(Schulman et al., 2017; Tunstall et al., 2023)가 있습니다.