**Human Labeler Selection.** In existing work, the dominant method for generating human feedback data is human annotation [66, 367, 116]. This highlights the critical role of selecting appropriate human labelers. To provide high-quality feedback, human labelers are supposed to have a qualified level of education and excellent proficiency in English. For example, Sparrow [116] requires human labelers to be UK-based native English speakers who have obtained at least an undergraduate-level educational qualification. Even then, several studies [367] have found that there still exists a mismatch between the intentions of researchers and human labelers, which may lead to low-quality human feedback and cause LLMs to produce unexpected output. To address this issue, InstructGPT [66] further conducts a screening process to filter labelers by assessing the agreement between human labelers and researchers. Specifically, researchers first label a small amount of data and then measure the agreement between themselves and human labelers. The labelers with the highest agreement will be selected to proceed with the subsequent annotation work. In some other work [370], "super raters" are used to ensure the high quality of human feedback. Researchers evaluate the performance of human labelers and select a group of well-performing human labelers (_e.g._, high agreement) as super raters. The super raters will be given priority to collaborate with the researchers in the subsequent study. When human labelers annotate the output of LLMs, it is helpful to specify detailed instructions and provide instant guidance for human labelers, which can further regulate the annotation of labelers.
**Human Labeler Selection**. 기존 연구에서 인간 피드백 데이터를 생성하는 주된 방법은 인간 annotation [66, 367, 116]입니다. 이는 적절한 인간 labeler를 선택하는 것이 중요하다는 점을 강조합니다. 고품질 피드백을 제공하기 위해서는 인간 labeler가 적절한 수준의 교육을 받고 영어에 능통해야 합니다. 예를 들어, Sparrow [116]는 인간 labeler가 최소 학부 수준의 교육 자격을 획득한 영국에 거주하는 영어 원어민이어야 합니다. 그럼에도 불구하고 여러 연구[367]에 따르면 연구자와 인간 labeler 간의 의도가 여전히 일치하지 않는 경우가 있으며, 이는 품질이 낮은 인간 피드백으로 이어져 LLM이 예기치 않은 결과를 생성할 수 있습니다. 이 문제를 해결하기 위해 InstructGPT [66]는 인간 labeler와 연구자 간의 동의를 평가하여 labeler를 필터링하는 screening 과정을 추가로 진행합니다. 구체적으로, 연구자는 먼저 소량의 데이터에 label을 붙인 다음 자신과 인간 labeler 간의 일치 여부를 측정합니다. 일치도가 가장 높은 labeler가 선정되어 후속 annotation 작업을 진행합니다. 다른 일부 연구[370]에서는 'super raters'를 사용하여 인간 피드백의 품질을 보장합니다. 연구자들은 인간 labeler의 성능을 평가하고 성능이 우수한 인간 labeler 그룹(예: 일치도가 높음)을 super raters로 선정합니다. super raters는 후속 연구에서 연구자와 협업할 수 있는 우선권을 부여받습니다. 인간 labeler가 LLM의 출력에 annotation을 달 때, 상세한 instructions을 명시하고 인간 labeler에게 즉각적인 안내를 제공하면 labeler의 annotation을 더욱 규제할 수 있습니다.
**인간 라벨러 선택**. 기존 연구에서 인간 피드백 데이터를 생성하는 주된 방법은 인간 주석[66, 367, 116]입니다. 이는 적절한 인간 라벨러를 선택하는 것이 중요하다는 점을 강조합니다. 고품질 피드백을 제공하기 위해서는 인간 라벨러가 적절한 수준의 교육을 받고 영어에 능통해야 합니다. 예를 들어, Sparrow [116]는 인간 라벨러가 최소 학부 수준의 교육 자격을 획득한 영국에 거주하는 영어 원어민이어야 합니다. 그럼에도 불구하고 여러 연구[367]에 따르면 연구자와 인간 라벨러 간의 의도가 여전히 일치하지 않는 경우가 있으며, 이는 품질이 낮은 인간 피드백으로 이어져 LLM이 예기치 않은 결과를 생성할 수 있습니다. 이 문제를 해결하기 위해 InstructGPT [66]는 인간 라벨러와 연구자 간의 동의를 평가하여 라벨러를 필터링하는 선별 과정을 추가로 진행합니다. 구체적으로, 연구자는 먼저 소량의 데이터에 라벨을 붙인 다음 자신과 인간 라벨러 간의 일치 여부를 측정합니다. 일치도가 가장 높은 라벨러가 선정되어 후속 주석 작업을 진행합니다. 다른 일부 연구[370]에서는 '슈퍼 레이터'를 사용하여 인간 피드백의 품질을 보장합니다. 연구자들은 인간 라벨러의 성능을 평가하고 성능이 우수한 인간 라벨러 그룹(예: 일치도가 높음)을 슈퍼 레이터로 선정합니다. 슈퍼 레이터는 후속 연구에서 연구자와 협업할 수 있는 우선권을 부여받습니다. 인간 라벨러가 LLM의 출력에 주석을 달 때, 상세한 지침을 명시하고 인간 라벨러에게 즉각적인 안내를 제공하면 라벨러의 주석을 더욱 규제할 수 있습니다.