Aligning with shared human preference and values.Directly finetuning on value-aligned or human-preferred data is a straightforward method for aligning language models, but this method often requires substantial human annotation, which can be prohibitively expensive at scale. Additionally, such annotation frequently exhibits varying styles and inconsistent quality, particularly in the case of poorly annotated samples at the lower end of the quality spectrum (Gilardi et al., 2023b; Meta, 2023). To address these practical challenges, an advanced technique known as "reinforcement learning from human feedback (RLHF)" has been proposed (Christiano et al., 2017; Leike et al., 2018; Ouyang et al., 2022). This approach involves training a reward model with human data to act as a proxy of human judgment, which guides the optimization of the LM generation policy.
공유되는 인간의 선호도 및 가치와 정렬합니다.가치에 부합하거나 인간이 선호하는 데이터를 직접 Fine-tuning하는 것은 언어 모델을 정렬하는 간단한 방법이지만, 이 방법은 대규모로 적용할 때 상당한 인적 주석이 필요하기 때문에 비용이 엄청나게 많이 들 수 있습니다. 또한 이러한 주석은 특히 품질 스펙트럼의 하위 품질 샘플의 경우 잘못 주석 처리된 경우에는 다양한 스타일과 일관되지 않은 품질을 보이는 경우가 많습니다(Gilardi et al., 2023b; Meta, 2023). 이러한 현실적인 문제를 해결하기 위해 "Reinforcement Learning from Human Feedback (RLHF)"이라는 고급 기법이 제안되었습니다(Christiano et al., 2017; Leike et al., 2018; Ouyang et al., 2022). 이 접근 방식은 인간 데이터로 보상 모델을 훈련하여 인간의 판단을 대리하는 역할을 하도록 하여 LM 생성 정책의 최적화를 안내합니다.
공유되는 인간의 선호도 및 가치와 정렬합니다.가치에 부합하거나 인간이 선호하는 데이터를 직접 미세 조정하는 것은 언어 모델을 정렬하는 간단한 방법이지만, 이 방법은 대규모로 적용할 때 상당한 인적 주석이 필요하기 때문에 비용이 엄청나게 많이 들 수 있습니다. 또한 이러한 주석은 특히 품질 스펙트럼의 하위 품질 샘플의 경우 잘못 주석 처리된 경우에는 다양한 스타일과 일관되지 않은 품질을 보이는 경우가 많습니다(Gilardi et al., 2023b; Meta, 2023). 이러한 현실적인 문제를 해결하기 위해 '인간 피드백을 통한 강화 학습(RLHF)'이라는 고급 기법이 제안되었습니다(Christiano et al., 2017; Leike et al., 2018; Ouyang et al., 2022). 이 접근 방식은 인간 데이터로 보상 모델을 훈련하여 인간의 판단을 대리하는 역할을 하도록 하여 LM 생성 정책의 최적화를 안내합니다.