Overall, SFT is particularly useful to increase the model capacity of pre-trained model checkpoints right after pre-training, while RLHF is promising to further improve the model capacity of SFT models. However, RLHF has been difficult to implement, and far from well explored (according to public literature), and more improvements (_e.g.,_ efficient and reliable annotation [371] and simplified optimization [389]) are still needed for further research.
전반적으로 Supervised Fine-tuning (SFT)는 사전 학습 직후에 사전 학습된 모델 체크포인트의 모델 용량을 늘리는 데 특히 유용하며, Reinforcement Learning from Human Feedback (RLHF)는 SFT 모델의 모델 용량을 더욱 향상시킬 수 있는 가능성이 있습니다. 그러나 RLHF는 구현하기 어려웠으며, 공개된 문헌에 따르면 아직 잘 탐색되지 않았으며, 추가 연구를 위해서는 더 많은 개선(예: 효율적이고 신뢰할 수 있는 주석[371] 및 간소화된 optimization[389])이 필요합니다.
전반적으로 SFT는 사전 학습 직후에 사전 학습된 모델 체크포인트의 모델 용량을 늘리는 데 특히 유용하며, RLHF는 SFT 모델의 모델 용량을 더욱 향상시킬 수 있는 가능성이 있습니다. 그러나 RLHF는 구현하기 어려웠으며, 공개된 문헌에 따르면 아직 잘 탐색되지 않았으며, 추가 연구를 위해서는 더 많은 개선(예: 효율적이고 신뢰할 수 있는 주석[371] 및 간소화된 최적화[389])이 필요합니다.