At a high level, existing methods instill the desired behaviors into a language model using curated sets of human preferences representing the types of behaviors that humans find safe and helpful. This preference learning stage occurs after an initial stage of large-scale unsupervised pre-training on a large text dataset. While the most straightforward approach to preference learning is supervised fine-tuning on human demonstrations of high quality responses, the most successful class of methods is reinforcement learning from human (or AI) feedback (RLHF/RLAIF; [12; 2]). RLHF methods fit a reward model to a dataset of human preferences and then use RL to optimize a language model policy to produce responses assigned high reward without drifting excessively far from the original model. While RLHF produces models with impressive conversational and coding abilities, the RLHF pipeline is considerably more complex than supervised learning, involving training multiple LMs and sampling from the LM policy in the loop of training, incurring significant computational costs.
높은 수준에서 기존 방법은 인간이 안전하고 유용하다고 생각하는 행동 유형을 나타내는 엄선된 인간 선호도 집합을 사용하여 언어 모델에 원하는 행동을 심어줍니다. 이 선호도 학습 단계는 대규모 텍스트 데이터 세트에 대한 대규모 비지도 사전 학습의 초기 단계 이후에 발생합니다. 선호도 학습에 가장 간단한 접근 방식은 고품질 응답에 대한 인간의 데모를 통해 Supervised Fine-tuning을 수행하는 것이지만, 가장 성공적인 방법은 인간(또는 AI) 피드백(RLHF/RLAIF; [12; 2])을 통한 Reinforcement Learning입니다. RLHF 방법은 인간의 선호도 데이터 세트에 보상 모델을 맞춘 다음 RL을 사용하여 언어 모델 정책을 최적화하여 원래 모델에서 과도하게 벗어나지 않고 높은 보상이 부여된 응답을 생성합니다. RLHF는 대화 및 코딩 능력이 뛰어난 모델을 생성하지만, RLHF 파이프라인은 여러 개의 LMs을 훈련하고 훈련 루프에서 LM 정책에서 샘플링하는 등 Supervised Learning보다 훨씬 복잡하여 상당한 계산 비용이 발생합니다.
높은 수준에서 기존 방법은 인간이 안전하고 유용하다고 생각하는 행동 유형을 나타내는 엄선된 인간 선호도 집합을 사용하여 언어 모델에 원하는 행동을 심어줍니다. 이 선호도 학습 단계는 대규모 텍스트 데이터 세트에 대한 대규모 비지도 사전 학습의 초기 단계 이후에 발생합니다. 선호도 학습에 가장 간단한 접근 방식은 고품질 응답에 대한 인간의 데모를 통해 지도 미세 조정을 수행하는 것이지만, 가장 성공적인 방법은 인간(또는 AI) 피드백(RLHF/RLAIF; [12; 2])을 통한 강화 학습입니다. RLHF 방법은 인간의 선호도 데이터 세트에 보상 모델을 맞춘 다음 RL을 사용하여 언어 모델 정책을 최적화하여 원래 모델에서 과도하게 벗어나지 않고 높은 보상이 부여된 응답을 생성합니다. RLHF는 대화 및 코딩 능력이 뛰어난 모델을 생성하지만, RLHF 파이프라인은 여러 개의 LM을 훈련하고 훈련 루프에서 LM 정책에서 샘플링하는 등 지도 학습보다 훨씬 복잡하여 상당한 계산 비용이 발생합니다.