LLMs have been recognized to produce text that may seem linguistically inconsistent to human interpreters because their pretraining is based not on an understanding of human intentions but on a broad spectrum of domain-specific knowledge, as indicated in (Ziegler et al., 2019). In an effort to rectify this issue and better mirror human intentions, prior research (Ziegler et al., 2019) has suggested the adoption of Reinforcement Learning with Human Feedback (RLHF). RLHF seeks to refine the LLM's output by constructing a reward model that aligns with human preferences and applying reinforcement learning to direct the LLM towards selections that garner the most favorable reward metrics. This approach is intended to bolster the safety, decorum, and general excellence of the responses produced by the LLM. Nonetheless, despite showing promising results, RLHF is confronted with challenges, such as the intricate handling of an extensive set of hyperparameters and the necessity to amalgamate several models (policy, value, reward, and reference models).
LLM은 (Ziegler et al., 2019)에서 언급한 바와 같이 사전 학습이 인간의 의도에 대한 이해가 아니라 광범위한 도메인별 지식에 기반하기 때문에 인간 해석가에게 언어적으로 일관성이 없는 것처럼 보이는 텍스트를 생성하는 것으로 인식되어 왔습니다. 이 문제를 해결하고 인간의 의도를 더 잘 반영하기 위해 선행 연구(Ziegler et al., 2019)에서는 Reinforcement Learning with Human Feedback (RLHF)을 도입할 것을 제안했습니다. RLHF는 인간의 선호도에 맞는 보상 모델을 구축하고 Reinforcement Learning을 적용하여 LLM이 가장 호의적인 보상 메트릭을 얻는 선택을 하도록 유도함으로써 LLM의 출력을 개선하는 것을 목표로 합니다. 이 접근 방식은 LLM이 생성하는 응답의 안전성, 적절성 및 전반적인 우수성을 강화하기 위한 것입니다. 그럼에도 불구하고, 이 접근 방식은 광범위한 하이퍼파라미터 세트를 복잡하게 처리하고 여러 모델(정책, 가치, 보상 및 참조 모델)을 통합해야 하는 등의 문제에 직면해 있습니다.
LLM은 (Ziegler et al., 2019)에서 언급한 바와 같이 사전 학습이 인간의 의도에 대한 이해가 아니라 광범위한 도메인별 지식에 기반하기 때문에 인간 해석가에게 언어적으로 일관성이 없는 것처럼 보이는 텍스트를 생성하는 것으로 인식되어 왔습니다. 이 문제를 해결하고 인간의 의도를 더 잘 반영하기 위해 선행 연구(Ziegler et al., 2019)에서는 인간 피드백을 통한 강화 학습(RLHF)을 도입할 것을 제안했습니다. RLHF는 인간의 선호도에 맞는 보상 모델을 구축하고 강화 학습을 적용하여 LLM이 가장 호의적인 보상 메트릭을 얻는 선택을 하도록 유도함으로써 LLM의 출력을 개선하는 것을 목표로 합니다. 이 접근 방식은 LLM이 생성하는 응답의 안전성, 적절성 및 전반적인 우수성을 강화하기 위한 것입니다. 그럼에도 불구하고, 이 접근 방식은 광범위한 하이퍼파라미터 세트를 복잡하게 처리하고 여러 모델(정책, 가치, 보상 및 참조 모델)을 통합해야 하는 등의 문제에 직면해 있습니다.