During the pre-training stage, LLMs are trained using the language modeling objective on a large-scale corpus. However, it cannot take into account the subjective and qualitative evaluations of LLM outputs by humans (called _human feedback_ in this survey). High-quality human feedback is extremely important for aligning LLMs with human preferences and values. In this part, we discuss how to select a team of human labelers for feedback data collection.
사전 학습 단계에서 LLMs은 대규모 말뭉치에서 language modeling objective를 사용하여 학습합니다. 그러나 인간이 LLMs 출력에 대한 주관적이고 정성적인 평가(이 설문조사에서는 _human feedback_이라고 함)를 고려할 수 없습니다. 고품질의 human feedback은 LLMs을 인간의 선호도 및 가치와 일치시키는 데 매우 중요합니다. 이 부분에서는 feedback 데이터 수집을 위한 human labelers 팀을 선정하는 방법에 대해 설명합니다.
사전 학습 단계에서 LLM은 대규모 말뭉치에서 언어 모델링 목표를 사용하여 학습합니다. 그러나 인간이 LLM 출력에 대한 주관적이고 정성적인 평가(이 설문조사에서는 _인간 피드백_이라고 함)를 고려할 수 없습니다. 고품질의 인간 피드백은 LLM을 인간의 선호도 및 가치와 일치시키는 데 매우 중요합니다. 이 부분에서는 피드백 데이터 수집을 위한 인간 레이블러 팀을 선정하는 방법에 대해 설명합니다.