**Pros and Cons of RLHF**. RLHF was early explored in the literature of deep RL [79], then borrowed to improve the capacity of language models (_e.g.,_ summarization [129]), and subsequently adopted as the fundamental technique to develop InstructGPT [66]. Recently, increasing evidence [99, 371] has demonstrated the effectiveness of RLHF in mitigating the harmful responses and enhancing the model capacity. Specially, LLaMA 2 has demonstrated that RLHF can improve both the helpfulness and harmlessness scores [99], and attributed this to a better human-LLM synergy for data annotation. They explain this reason in two major aspects as follows. First, since human annotators mainly provide preference annotations for RLHF, it can largely alleviate the discrepancies of annotators as that in SFT. Secondly, preference annotation is much easier than writing the demonstration data, and annotators can even judge the quality of more superior generations than those they create, making it possible to explore a broader state space beyond what can be demonstrated by human annotators. Another key point is that RLHF essentially encourages LLMs to learn correct policies by contrasting the self-generated responses (discriminating between good and bad responses). It no longer forces the model to imitate external demonstration data, and thus can mitigate the hallucination issues with SFT as discussed above31. Actually, RLHF has been demonstrated to be an important approach to reduce the hallucination behaviors in GPT-4 [46]. However, RLHF inherits the drawbacks of classic RL algorithms, _e.g.,_ sample inefficiency and training instability. When adapted to LLMs, RLHF further relies on a strong SFT model as initial model checkpoint for efficiently achieving good performance. In addition, human annotators are involved in a complex iterative optimization process, in which a number of important details (_e.g.,_ the prompt selection, the schedule of reward model training and PPO training, and the settings of hyper-parameters) have important impact on the whole model performance.
**RLHF의 장단점**. RLHF는 딥 Reinforcement Learning 문헌에서 초기 탐색된 후 [79], 언어 모델의 용량을 개선하기 위해 차용되었습니다(_예:_ 요약 [129]), 이후 InstructGPT [66]를 개발하는 기본 기술로 채택되었습니다. 최근 증가하는 증거 [99, 371]는 유해한 응답을 완화하고 모델 용량을 향상시키는 데 있어 RLHF의 효과를 입증했습니다. 특히, LLaMA 2는 RLHF가 유용성과 무해성 점수를 모두 향상시킬 수 있음을 입증했으며 [99], 이를 데이터 주석에 대한 인간과 LLM의 시너지 효과가 더 좋아졌기 때문이라고 설명했습니다. 이들은 이러한 이유를 크게 두 가지 측면에서 설명합니다. 첫째, 인간 주석가는 주로 RLHF에 대한 선호도 주석을 제공하기 때문에 Supervised Fine-tuning에서와 같이 주석가 간의 불일치를 크게 완화할 수 있습니다. 둘째, 선호도 주석은 데모 데이터 작성보다 훨씬 쉽고, 주석가는 자신이 만든 데이터보다 더 우수한 세대의 품질을 판단할 수 있으므로 인간 주석가가 시연할 수 있는 것 이상의 더 넓은 상태 공간을 탐색할 수 있습니다. 또 다른 핵심 포인트는 RLHF는 본질적으로 LLM이 스스로 생성한 응답을 대조하여 올바른 정책을 학습하도록 장려한다는 것입니다(좋은 응답과 나쁜 응답을 구분). 더 이상 모델이 외부 데모 데이터를 모방하도록 강요하지 않으므로 앞서 설명한 Supervised Fine-tuning의 착시 현상 문제를 완화할 수 있습니다31. 실제로 RLHF는 GPT-4에서 착시 현상 행동을 줄이는 중요한 접근 방식임이 입증되었습니다 [46]. 그러나 RLHF는 표본 비효율성 및 훈련 불안정성과 같은 고전적인 Reinforcement Learning 알고리즘의 단점을 계승합니다. LLM에 적용될 때 RLHF는 효율적으로 좋은 성능을 달성하기 위해 강력한 Supervised Fine-tuning 모델을 초기 모델 체크포인트로 더욱 의존합니다. 또한 인간 주석가는 복잡한 반복 최적화 프로세스에 관여하며, 여기서 많은 중요한 세부 사항(_예:_ 프롬프트 선택, 보상 모델 훈련 및 PPO 훈련 일정, 하이퍼파라미터 설정)이 전체 모델 성능에 중요한 영향을 미칩니다.
**RLHF의 장단점**. RLHF는 딥 RL 문헌에서 초기 탐색된 후 [79], 언어 모델의 용량을 개선하기 위해 차용되었습니다(_예:_ 요약 [129]), 이후 InstructGPT [66]를 개발하는 기본 기술로 채택되었습니다. 최근 증가하는 증거 [99, 371]는 유해한 응답을 완화하고 모델 용량을 향상시키는 데 있어 RLHF의 효과를 입증했습니다. 특히, LLaMA 2는 RLHF가 유용성과 무해성 점수를 모두 향상시킬 수 있음을 입증했으며 [99], 이를 데이터 주석에 대한 인간과 LLM의 시너지 효과가 더 좋아졌기 때문이라고 설명했습니다. 이들은 이러한 이유를 크게 두 가지 측면에서 설명합니다. 첫째, 인간 주석가는 주로 RLHF에 대한 선호도 주석을 제공하기 때문에 SFT에서와 같이 주석가 간의 불일치를 크게 완화할 수 있습니다. 둘째, 선호도 주석은 데모 데이터 작성보다 훨씬 쉽고, 주석가는 자신이 만든 데이터보다 더 우수한 세대의 품질을 판단할 수 있으므로 인간 주석가가 시연할 수 있는 것 이상의 더 넓은 상태 공간을 탐색할 수 있습니다. 또 다른 핵심 포인트는 RLHF는 본질적으로 LLM이 스스로 생성한 응답을 대조하여 올바른 정책을 학습하도록 장려한다는 것입니다(좋은 응답과 나쁜 응답을 구분). 더 이상 모델이 외부 데모 데이터를 모방하도록 강요하지 않으므로 앞서 설명한 SFT의 착시 현상 문제를 완화할 수 있습니다31. 실제로 RLHF는 GPT-4에서 착시 현상 행동을 줄이는 중요한 접근 방식임이 입증되었습니다 [46]. 그러나 RLHF는 표본 비효율성 및 훈련 불안정성과 같은 고전적인 RL 알고리즘의 단점을 계승합니다. LLM에 적용될 때 RLHF는 효율적으로 좋은 성능을 달성하기 위해 강력한 SFT 모델을 초기 모델 체크포인트로 더욱 의존합니다. 또한 인간 주석가는 복잡한 반복 최적화 프로세스에 관여하며, 여기서 많은 중요한 세부 사항(_예:_ 프롬프트 선택, 보상 모델 훈련 및 PPO 훈련 일정, 하이퍼파라미터 설정)이 전체 모델 성능에 중요한 영향을 미칩니다.