**RLHF** (reinforcement learning from human feedback) and **RLAIF** (reinforcement learning from AI feedback) are two popular approaches. RLHF uses a reward model to learn alignment from human feedback. This reward model, after being tuned, is able to rate different outputs and score them according to their alignment preferences given by humans. The reward model gives feedback to the original LLM and this feedback is used to tune the LLM further [137]. Reinforcement learning from AI feedback on the other hand, directly connects a pretrained and well-aligned model to the LLM and helps it to learn from larger and more aligned models [138].
**RLHF**(Reinforcement Learning from Human Feedback)와 **RLAIF**(Reinforcement Learning from AI Feedback)가 대표적인 접근 방식입니다. RLHF는 보상 모델을 사용하여 인간 피드백을 통해 정렬을 학습합니다. 이 보상 모델은 튜닝된 후 다양한 출력을 평가하고 인간이 제공한 정렬 기본 설정에 따라 점수를 부여할 수 있습니다. 보상 모델은 원래 LLM에 피드백을 제공하고 이 피드백은 LLM을 추가로 튜닝하는 데 사용됩니다[137]. 반면에 Reinforcement Learning from AI Feedback은 사전 학습되고 잘 정렬된 모델을 LLM에 직접 연결하여 더 크고 정렬된 모델을 통해 학습할 수 있도록 지원합니다[138].
**RLHF**(인간 피드백을 통한 강화 학습)와 **RLAIF**(AI 피드백을 통한 강화 학습)가 대표적인 접근 방식입니다. RLHF는 보상 모델을 사용하여 인간 피드백을 통해 정렬을 학습합니다. 이 보상 모델은 튜닝된 후 다양한 출력을 평가하고 인간이 제공한 정렬 기본 설정에 따라 점수를 부여할 수 있습니다. 보상 모델은 원래 LLM에 피드백을 제공하고 이 피드백은 LLM을 추가로 튜닝하는 데 사용됩니다[137]. 반면에 AI 피드백을 통한 강화 학습은 사전 학습되고 잘 정렬된 모델을 LLM에 직접 연결하여 더 크고 정렬된 모델을 통해 학습할 수 있도록 지원합니다[138].