We review the RLHF pipeline in Ziegler et al. (and later [38; 1; 26]). It usually includes three phases: 1) supervised fine-tuning (SFT); 2) preference sampling and reward learning and 3) RL optimization.
우리는 Ziegler 등(및 이후 [38; 1; 26])에서 RLHF 파이프라인을 검토한다. 일반적으로 3단계로 구성된다: 1) Supervised Fine-tuning (SFT); 2) 선호도 샘플링 및 보상 학습, 3) RL 최적화.
우리는 Ziegler 등(및 이후 [38; 1; 26])에서 RLHF 파이프라인을 검토한다. 일반적으로 3단계로 구성된다: 1) 지도 미세 조정(SFT); 2) 선호도 샘플링 및 보상 학습, 3) RL 최적화.