* _Ranking-based approach._ In early work [367], human labelers often evaluate model-generated outputs in a coarse-grained manner (_i.e._, only selecting the best) without taking into account more fine-grained alignment criteria. Nonetheless, different labelers may hold diverse opinions on the selection of the best candidate output, and this method disregards the unselected samples, which may lead to inaccurate or incomplete human feedback. To address this issue, subsequent studies [116] introduce the Elo rating system to derive the preference ranking by comparing candidate outputs. The ranking of outputs serves as the training signal that guides the model to prefer certain outputs over others, thus inducing outputs that are more reliable and safer. * _Question-based approach._ Further, human labelers can provide more detailed feedback by answering certain questions designed by researchers [81], covering the alignment criteria as well as additional constraints for LLMs. Specially, in WebGPT [81], to assist the model in filtering and utilizing relevant information from retrieved documents, human labelers are required to answer questions with multiple options about whether the retrieved documents are useful for answering the given input. * _Rule-based approach._ Many studies also develop rule-based methods to provide more detailed human feedback. As a typical case, Sparrow [116] not only selects the response that labelers consider the best but also uses a series of rules to test whether model-generated responses meet the alignment criteria of being helpful, correct, and harmless. In this way, two kinds of human feedback data can be obtained: (1) the response preference feedback is obtained by comparing the quality of model-generated output in pairs, and (2) the rule violation feedback is obtained by collecting the assessment from human labelers (_i.e._, a score indicating to what extent the generated output has violated the rules). Furthermore, GPT-4 [46] utilizes a set of zero-shot classifiers (based on GPT-4 itself) as rule-based reward models, which can automatically determine whether the model-generated outputs violate a set of human-written rules.
* _Ranking-based approach._ 초기 작업 [367]에서 인간 라벨러는 더 세분화된 정렬 기준을 고려하지 않고 종종 모델이 생성한 결과물을 대략적인 방식(_즉, 최고만 선택하는 방식)으로 평가합니다. 그럼에도 불구하고 라벨러마다 최적의 후보 출력을 선택하는 데 대해 서로 다른 의견을 가질 수 있으며, 이 방법은 선택되지 않은 샘플을 무시하기 때문에 부정확하거나 불완전한 인간 피드백으로 이어질 수 있습니다. 이 문제를 해결하기 위해 후속 연구 [116]에서는 후보 출력을 비교하여 선호 순위를 도출하기 위해 Elo 등급 시스템을 도입합니다. 출력 순위는 모델이 특정 출력을 다른 출력보다 선호하도록 안내하는 훈련 신호 역할을 하므로 더 신뢰할 수 있고 안전한 출력을 유도합니다. * _Question-based approach._ 또한, 인간 라벨러는 연구자들이 설계한 특정 질문에 답함으로써 alignment 기준은 물론 LLM에 대한 추가적인 제약 조건을 포함하여 보다 자세한 피드백을 제공할 수 있습니다[81]. 특히 WebGPT [81]에서는 모델이 검색된 문서에서 관련 정보를 필터링하고 활용하는 데 도움을 주기 위해 검색된 문서가 주어진 입력에 답하는 데 유용한지 여부에 대한 여러 옵션이 있는 질문에 답변해야 합니다. * _Rule-based approach._ 많은 연구에서 보다 상세한 인간 피드백을 제공하기 위해 규칙 기반 방법을 개발하기도 합니다. 대표적인 사례로, Sparrow [116]는 라벨러가 가장 좋은 것으로 간주하는 응답을 선택할 뿐만 아니라 일련의 규칙을 사용하여 모델이 생성한 응답이 유용하고, 정확하며, 무해하다는 alignment 기준을 충족하는지 여부를 테스트합니다. 이러한 방식으로 두 가지 종류의 인간 피드백 데이터를 얻을 수 있습니다: (1) 모델이 생성한 출력의 품질을 쌍으로 비교하여 응답 선호도 피드백을 얻고, (2) 라벨러의 평가를 수집하여 규칙 위반 피드백을 얻습니다(_즉, 생성된 출력이 규칙을 어느 정도 위반했는지를 나타내는 점수). 또한 GPT-4 [46]는 일련의 zero-shot 분류기(GPT-4 자체 기반)를 규칙 기반 보상 모델로 활용하여 모델이 생성한 출력이 일련의 사람이 작성한 규칙을 위반하는지 여부를 자동으로 판단할 수 있습니다.
* _순위 기반 접근 방식._ 초기 작업 [367]에서 인간 라벨러는 더 세분화된 정렬 기준을 고려하지 않고 종종 모델이 생성한 결과물을 대략적인 방식(_즉, 최고만 선택하는 방식)으로 평가합니다. 그럼에도 불구하고 라벨러마다 최적의 후보 출력을 선택하는 데 대해 서로 다른 의견을 가질 수 있으며, 이 방법은 선택되지 않은 샘플을 무시하기 때문에 부정확하거나 불완전한 인간 피드백으로 이어질 수 있습니다. 이 문제를 해결하기 위해 후속 연구 [116]에서는 후보 출력을 비교하여 선호 순위를 도출하기 위해 Elo 등급 시스템을 도입합니다. 출력 순위는 모델이 특정 출력을 다른 출력보다 선호하도록 안내하는 훈련 신호 역할을 하므로 더 신뢰할 수 있고 안전한 출력을 유도합니다. * _질문 기반 접근 방식._ 또한, 인간 라벨러는 연구자들이 설계한 특정 질문에 답함으로써 정렬 기준은 물론 LLM에 대한 추가적인 제약 조건을 포함하여 보다 자세한 피드백을 제공할 수 있습니다[81]. 특히 WebGPT [81]에서는 모델이 검색된 문서에서 관련 정보를 필터링하고 활용하는 데 도움을 주기 위해 검색된 문서가 주어진 입력에 답하는 데 유용한지 여부에 대한 여러 옵션이 있는 질문에 답변해야 합니다. * _규칙 기반 접근 방식._ 많은 연구에서 보다 상세한 인간 피드백을 제공하기 위해 규칙 기반 방법을 개발하기도 합니다. 대표적인 사례로, Sparrow [116]는 라벨러가 가장 좋은 것으로 간주하는 응답을 선택할 뿐만 아니라 일련의 규칙을 사용하여 모델이 생성한 응답이 유용하고, 정확하며, 무해하다는 정렬 기준을 충족하는지 여부를 테스트합니다. 이러한 방식으로 두 가지 종류의 인간 피드백 데이터를 얻을 수 있습니다: (1) 모델이 생성한 출력의 품질을 쌍으로 비교하여 응답 선호도 피드백을 얻고, (2) 라벨러의 평가를 수집하여 규칙 위반 피드백을 얻습니다(_즉, 생성된 출력이 규칙을 어느 정도 위반했는지를 나타내는 점수). 또한 GPT-4 [46]는 일련의 제로 샷 분류기(GPT-4 자체 기반)를 규칙 기반 보상 모델로 활용하여 모델이 생성한 출력이 일련의 사람이 작성한 규칙을 위반하는지 여부를 자동으로 판단할 수 있습니다.