However, to align the model with human preferences, RLHF (Ouyang et al., 2022) presents a more complex challenge. It involves the development of alignment criteria, the acquisition of human feedback, and final learning adjustments based on this feedback. LLaMA2 (Touvron et al., 2023) is currently one of the publicly available models utilizing RLHF, with other models such as WebGPT (Nakano et al., 2021), InstructGPT (Ouyang et al., 2022), and GPT-4 (OpenAI, 2023) being proprietary. Implementing RLHF is intricate, stemming not only from the need for human annotations but also due to technical challenges. These include overfitting in reward models and instabilities during the Reinforcement Learning training phase (Gao et al., 2022). Additionally, the tedious procedure of training multiple LMs including the model being aligned, the reward model, and the inference model at the same time substantially amplifies memory and computational demands, particularly for larger models. Rafailov et al. (2023) proposed direct preference optimization (DPO) to align models with human preferences instead of complex and unstable RLHF. Nevertheless, one still needs to collect human-labeled preference data in the target language.
그러나 인간의 선호도에 맞게 모델을 조정하는 것은 더 복잡한 과제를 제시합니다. 여기에는 정렬 기준의 개발, 인간 피드백의 획득, 이 피드백을 기반으로 한 최종 학습 조정이 포함됩니다. 현재 RLHF를 활용하는 공개적으로 사용 가능한 모델 중 하나는 LLaMA2(Touvron et al., 2023)이며, WebGPT(Nakano et al., 2021), InstructGPT(Ouyang et al., 2022), GPT-4(OpenAI, 2023)와 같은 다른 모델은 독점 모델입니다. RLHF를 구현하는 것은 인간의 주석이 필요할 뿐만 아니라 기술적인 문제로 인해 복잡합니다. 여기에는 보상 모델의 과적합과 Reinforcement Learning 훈련 단계의 불안정성 등이 포함됩니다(Gao et al., 2022). 또한 정렬 대상 모델, 보상 모델, 추론 모델을 포함한 여러 개의 LM을 동시에 훈련해야 하는 번거로운 절차로 인해 특히 대규모 모델의 경우 메모리와 계산 요구량이 크게 증가합니다. Rafailov et al. (2023)은 복잡하고 불안정한 RLHF 대신 모델을 인간의 선호도에 맞게 정렬하기 위해 Direct Preference Optimization (DPO)를 제안했습니다. 그럼에도 불구하고 대상 언어에서 인간이 레이블을 붙인 선호도 데이터를 수집해야 합니다.
그러나 인간의 선호도에 맞게 모델을 조정하는 것은 더 복잡한 과제를 제시합니다. 여기에는 정렬 기준의 개발, 인간 피드백의 획득, 이 피드백을 기반으로 한 최종 학습 조정이 포함됩니다. 현재 RLHF를 활용하는 공개적으로 사용 가능한 모델 중 하나는 LLaMA2(Touvron et al., 2023)이며, WebGPT(Nakano et al., 2021), InstructGPT(Ouyang et al., 2022), GPT-4(OpenAI, 2023)와 같은 다른 모델은 독점 모델입니다. RLHF를 구현하는 것은 인간의 주석이 필요할 뿐만 아니라 기술적인 문제로 인해 복잡합니다. 여기에는 보상 모델의 과적합과 강화 학습 훈련 단계의 불안정성 등이 포함됩니다(Gao et al., 2022). 또한 정렬 대상 모델, 보상 모델, 추론 모델을 포함한 여러 개의 LM을 동시에 훈련해야 하는 번거로운 절차로 인해 특히 대규모 모델의 경우 메모리와 계산 요구량이 크게 증가합니다. Rafailov et al. (2023)은 복잡하고 불안정한 RLHF 대신 모델을 인간의 선호도에 맞게 정렬하기 위해 직접 선호도 최적화(DPO)를 제안했습니다. 그럼에도 불구하고 대상 언어에서 인간이 레이블을 붙인 선호도 데이터를 수집해야 합니다.