**RLHF System.** The RLHF system mainly comprises three key components: a pre-trained LM to be aligned, a reward model learning from human feedback, and a RL algorithm training the LM. Specifically, the _pre-trained LM_ is typically a generative model that is initialized with existing pre-trained LM parameters. For example, OpenAI uses 175B GPT-3 for its first popular RLHF model, InstructGPT [66], and DeepMind uses the 280 billion parameter model Go-pher [64] for its GopherCite model [370]. Further, the _reward model (RM)_ provides (learned) guidance signals that reflect human preferences for the text generated by the LM, usually in the form of a scalar value. The reward model can take on two forms: a fine-tuned LM or a LM trained de novo using human preference data. Existing work typically employs reward models having a parameter scale different from that of the aligned LM [66, 370]. For example, OpenAI uses 6B GPT-3 and DeepMind uses 7B Gopher as the reward model, respectively. Finally, to optimize the pre-trained LM using the signal from the reward model, a specific _RL algorithm_ is designed for large-scale model tuning. Specifically, Proximal Policy Optimization (PPO) [128] is a widely used RL algorithm for alignment in existing work [66, 116, 370].
**RLHF 시스템.** RLHF 시스템은 주로 정렬할 pre-trained LM, 사람의 피드백을 학습하는 reward model, LM을 학습하는 RL algorithm의 세 가지 핵심 구성 요소로 구성됩니다. 구체적으로, _pre-trained LM_은 일반적으로 기존 pre-trained LM 파라미터로 초기화되는 생성 모델입니다. 예를 들어, OpenAI는 첫 번째 인기 RLHF 모델인 InstructGPT [66]에 175B GPT-3를 사용했으며, DeepMind는 2800억 파라미터 모델인 Go-pher [64]를 GopherCite 모델 [370]에 사용했습니다. 또한, _reward model (RM)_은 일반적으로 스칼라 값의 형태로 LM이 생성한 텍스트에 대한 사람의 선호도를 반영하는 (학습된) 안내 신호를 제공합니다. reward model은 Fine-tuned LM 또는 사람의 선호도 데이터를 사용하여 새로 학습된 LM의 두 가지 형태를 취할 수 있습니다. 기존 작업에서는 일반적으로 정렬된 LM과 다른 파라미터 규모를 가진 reward model을 사용합니다[66, 370]. 예를 들어, OpenAI는 6B GPT-3를, DeepMind는 7B Gopher를 각각 reward model로 사용합니다. 마지막으로, reward model의 신호를 사용하여 pre-trained LM을 최적화하기 위해 대규모 모델 튜닝을 위해 특정 _RL algorithm_이 설계되었습니다. 구체적으로, 기존 작업 [66, 116, 370]에서 정렬을 위해 널리 사용되는 RL algorithm은 Proximal Policy Optimization (PPO) [128]입니다.
**RLHF 시스템.** RLHF 시스템은 주로 정렬할 사전 학습된 LM, 사람의 피드백을 학습하는 보상 모델, LM을 학습하는 RL 알고리즘의 세 가지 핵심 구성 요소로 구성됩니다. 구체적으로, _사전 학습된 LM_은 일반적으로 기존 사전 학습된 LM 파라미터로 초기화되는 생성 모델입니다. 예를 들어, OpenAI는 첫 번째 인기 RLHF 모델인 InstructGPT [66]에 175B GPT-3를 사용했으며, DeepMind는 2800억 파라미터 모델인 Go-pher [64]를 GopherCite 모델 [370]에 사용했습니다. 또한, _보상 모델(RM)_은 일반적으로 스칼라 값의 형태로 LM이 생성한 텍스트에 대한 사람의 선호도를 반영하는 (학습된) 안내 신호를 제공합니다. 보상 모델은 미세 조정된 LM 또는 사람의 선호도 데이터를 사용하여 새로 학습된 LM의 두 가지 형태를 취할 수 있습니다. 기존 작업에서는 일반적으로 정렬된 LM과 다른 파라미터 규모를 가진 보상 모델을 사용합니다[66, 370]. 예를 들어, OpenAI는 6B GPT-3를, DeepMind는 7B Gopher를 각각 보상 모델로 사용합니다. 마지막으로, 보상 모델의 신호를 사용하여 사전 학습된 LM을 최적화하기 위해 대규모 모델 튜닝을 위해 특정 _RL 알고리즘_이 설계되었습니다. 구체적으로, 기존 작업 [66, 116, 370]에서 정렬을 위해 널리 사용되는 RL 알고리즘은 근접 정책 최적화(PPO) [128]입니다.