Although RLHF has achieved great success in aligning the behaviors of LLMs with human values and preferences, it also suffers from notable limitations. First, RLHF needs to train multiple LLMs including the model being aligned, the reward model, and the reference model at the same time, which is tedious in algorithmic procedure and memory-consuming in practice. Besides, the commonly-used PPO algorithm in RLHF is rather complex and often sensitive to hyper-parameters. As an alternative, increasing studies explore to directly optimize LLMs to adhere to human preferences, using supervised fine-tuning without reinforcement learning [349].
RLHF는 LLM의 행동을 인간의 가치와 선호도에 맞추는 데 큰 성공을 거두었지만, 주목할 만한 한계도 가지고 있습니다. 첫째, RLHF는 정렬 대상 모델, 보상 모델, 참조 모델을 포함한 여러 LLM을 동시에 학습시켜야 하므로 알고리즘 절차가 지루하고 실제로는 메모리 소모가 큽니다. 또한 RLHF에서 일반적으로 사용되는 PPO 알고리즘은 다소 복잡하고 하이퍼파라미터에 민감한 경우가 많습니다. 이를 대신하여, Reinforcement Learning 없이 Supervised Fine-tuning을 사용하여 인간의 선호도를 준수하도록 LLM을 직접 최적화하는 연구가 증가하고 있습니다[349].
RLHF는 LLM의 행동을 인간의 가치와 선호도에 맞추는 데 큰 성공을 거두었지만, 주목할 만한 한계도 가지고 있습니다. 첫째, RLHF는 정렬 대상 모델, 보상 모델, 참조 모델을 포함한 여러 LLM을 동시에 학습시켜야 하므로 알고리즘 절차가 지루하고 실제로는 메모리 소모가 큽니다. 또한 RLHF에서 일반적으로 사용되는 PPO 알고리즘은 다소 복잡하고 하이퍼파라미터에 민감한 경우가 많습니다. 이를 대신하여, 강화 학습 없이 지도 미세 조정을 사용하여 인간의 선호도를 준수하도록 LLM을 직접 최적화하는 연구가 증가하고 있습니다[349].