\(\bullet\)_Human-based evaluation_. Unlike automatic evaluation for basic abilities, human evaluation typically considers more factors or abilities in real-world use, such as human alignment and tool manipulation. In this evaluation approach, test tasks are usually in the form of open-ended questions, and human evaluators are invited to make judgments on the quality of answers generated by LLMs. Typically, there are two main types of scoring methods for human evaluators: pairwise comparison and single-answer grading. In pairwise comparison, given the same question, humans are assigned two answers from different models to determine which one is better, while in single-answer grading, they only need to score a single answer at a time. For example, HELM [520] employs humans to perform single-answer grading on summarization and disinformation tasks, while Chatbot Arena [727] constructs a crowdsourcing platform that allows users to engage in conversations with two anonymous chat LLMs and report pairwise comparison results.
\(\bullet\)_인간 기반 평가_. 기본 능력에 대한 자동 평가와 달리, 인간 평가는 일반적으로 인간의 정렬 및 도구 조작과 같은 실제 사용 시 더 많은 요소 또는 능력을 고려합니다. 이 평가 접근 방식에서 테스트 과제는 일반적으로 개방형 질문의 형태이며, 인간 평가자는 LLM이 생성한 답변의 품질에 대한 판단을 내릴 수 있습니다. 일반적으로 인간 평가자를 위한 채점 방법에는 pairwise comparison와 single-answer grading의 두 가지 주요 유형이 있습니다. pairwise comparison에서는 동일한 질문이 주어졌을 때 인간은 서로 다른 모델에서 두 개의 답변을 할당받아 어느 쪽이 더 나은지 결정하는 반면, single-answer grading에서는 한 번에 하나의 답변만 채점하면 됩니다. 예를 들어, HELM [520]은 요약 및 허위 정보 작업에 대해 인간이 single-answer grading을 수행하도록 하며, Chatbot Arena [727]은 사용자가 두 명의 익명 채팅 LLM과 대화에 참여하고 pairwise comparison 결과를 보고할 수 있는 크라우드소싱 플랫폼을 구축했습니다.
\(\bullet\)_인간 기반 평가_. 기본 능력에 대한 자동 평가와 달리, 인간 평가는 일반적으로 인간의 정렬 및 도구 조작과 같은 실제 사용 시 더 많은 요소 또는 능력을 고려합니다. 이 평가 접근 방식에서 테스트 과제는 일반적으로 개방형 질문의 형태이며, 인간 평가자는 LLM이 생성한 답변의 품질에 대한 판단을 내릴 수 있습니다. 일반적으로 인간 평가자를 위한 채점 방법에는 쌍별 비교와 단일 답안 채점의 두 가지 주요 유형이 있습니다. 쌍별 비교에서는 동일한 질문이 주어졌을 때 인간은 서로 다른 모델에서 두 개의 답변을 할당받아 어느 쪽이 더 나은지 결정하는 반면, 단일 답변 채점에서는 한 번에 하나의 답변만 채점하면 됩니다. 예를 들어, HELM [520]은 요약 및 허위 정보 작업에 대해 인간이 단일 답변 채점을 수행하도록 하며, Chatbot Arena [727]은 사용자가 두 명의 익명 채팅 LLM과 대화에 참여하고 쌍별 비교 결과를 보고할 수 있는 크라우드소싱 플랫폼을 구축했습니다.