human labelers to annotate the preference for these pairs. The annotation process can be conducted in multiple forms, and a common approach is to annotate by ranking the generated candidate texts, which can reduce the inconsistency among annotators. Then, the RM is trained to predict the human-preferred output. In InstructGPT, labelers rank model-generated outputs from best to worst, and the RM (_i.e._, 6B GPT-3) is trained to predict the ranking. Note that, in recent work [371], the annotation of preference on response pairs has been conducted by an AI agent (usually an aligned LLM) instead of humans, which is called _"reinforcement learning from AI feedback (RLAIF)"_. LLMs trained with typical RLHF algorithms tend to generate harmless responses with less helpfulness, which is called _evasion problem_[371]. To guarantee both the harmlessness and helpfulness, RLAIF generates the AI feedback based on pre-set alignment principles in instructions [371, 372], which can also reduce the efforts of human annotation.
이러한 쌍에 대한 선호도를 주석을 달기 위해 인간 레이블러가 필요합니다. 주석 프로세스는 여러 형태로 수행될 수 있으며, 일반적인 접근 방식은 생성된 후보 텍스트의 순위를 매기는 방식으로 주석을 달아 주석자 간의 불일치를 줄일 수 있습니다. 그런 다음 RM은 사람이 선호하는 출력을 예측하도록 학습됩니다. InstructGPT에서 레이블러는 모델에서 생성된 출력을 가장 좋은 것부터 최악의 것까지 순위를 매기고, RM(_즉, 6B GPT-3)은 순위를 예측하도록 학습됩니다. 최근 연구[371]에서는 응답 쌍에 대한 선호도 주석이 인간 대신 AI 에이전트(일반적으로 정렬된 LLM)에 의해 수행되고 있으며, 이를 _"Reinforcement Learning from AI Feedback (RLAIF)"_이라고 합니다. 일반적인 RLHF 알고리즘으로 훈련된 LLM은 유용성이 떨어지는 무해한 응답을 생성하는 경향이 있는데, 이를 _evasion problem_[371]이라고 합니다. 무해성과 유용성을 모두 보장하기 위해 RLAIF는 instructions에 미리 설정된 정렬 원칙을 기반으로 AI 피드백을 생성합니다[371, 372], 이를 통해 인간의 주석 작업도 줄일 수 있습니다.
이러한 쌍에 대한 선호도를 주석을 달기 위해 인간 레이블러가 필요합니다. 주석 프로세스는 여러 형태로 수행될 수 있으며, 일반적인 접근 방식은 생성된 후보 텍스트의 순위를 매기는 방식으로 주석을 달아 주석자 간의 불일치를 줄일 수 있습니다. 그런 다음 RM은 사람이 선호하는 출력을 예측하도록 학습됩니다. InstructGPT에서 레이블러는 모델에서 생성된 출력을 가장 좋은 것부터 최악의 것까지 순위를 매기고, RM(_즉, 6B GPT-3)은 순위를 예측하도록 학습됩니다. 최근 연구[371]에서는 응답 쌍에 대한 선호도 주석이 인간 대신 AI 에이전트(일반적으로 정렬된 LLM)에 의해 수행되고 있으며, 이를 _"AI 피드백으로부터의 강화 학습(RLAIF)"_이라고 합니다. 일반적인 RLHF 알고리즘으로 훈련된 LLM은 유용성이 떨어지는 무해한 응답을 생성하는 경향이 있는데, 이를 _회피 문제_[371]라고 합니다. 무해성과 유용성을 모두 보장하기 위해 RLAIF는 지침에 미리 설정된 정렬 원칙을 기반으로 AI 피드백을 생성합니다[371, 372], 이를 통해 인간의 주석 작업도 줄일 수 있습니다.