\(\bullet\)_Model-based evaluation_. Since human-based evaluation is both expensive and time-consuming, some work has proposed leveraging powerful closed-source LLMs such as ChatGPT and GPT-4 as a surrogate for human evaluators [727, 729]. For example, AlpacaEval [729] collects a set of instructions and utilizes a capable LLM (_e.g.,_ GPT-4) as the judge to perform pair-wise comparisons against the reference outputs. Furthermore, MT-bench [727] collects a set of multi-turn questions for evaluation and improves the reliability of LLM-based evaluators through methods like ICL and CoT. Compared with human evaluators, LLMs such as ChatGPT and GPT-4 can achieve high agreement with humans, in both small-scale handcrafted and large-scale crowdsourced evaluation tasks. Despite this, these closed-source LLMs are limited in access and have the potential risk of data leakage. To address this, recent work [727] has explored fine-tuning open-source LLMs (_e.g.,_ Vicuna [138]) as model evaluators using scoring data from human evaluators, which has narrowed the gap with powerful closed-source LLMs (_e.g.,_ GPT-4).
\(\bullet\)_모델 기반 평가_. 사람에 의한 평가는 비용과 시간이 많이 들기 때문에 일부 연구에서는 ChatGPT 및 GPT-4와 같은 강력한 폐쇄형 LLM을 사람 평가자의 대리자로 활용할 것을 제안했습니다[727, 729]. 예를 들어, AlpacaEval [729]은 일련의 Instruction을 수집하고 능력 있는 LLM(예: GPT-4)을 판사로 활용하여 참조 출력과 쌍별 비교를 수행합니다. 또한, MT-bench [727]은 평가를 위한 일련의 멀티 턴 질문을 수집하고 In-Context Learning (ICL) 및 Chain-of-Thought (CoT)와 같은 방법을 통해 LLM 기반 평가자의 신뢰성을 향상시킵니다. 사람 평가자와 비교했을 때 ChatGPT 및 GPT-4와 같은 LLM은 소규모 수작업 및 대규모 크라우드 소싱 평가 작업 모두에서 사람과 높은 일치도를 달성할 수 있습니다. 그럼에도 불구하고 이러한 폐쇄형 LLM은 액세스에 제한이 있으며 데이터 유출의 위험이 있습니다. 이를 해결하기 위해 최근 연구[727]에서는 인간 평가자의 채점 데이터를 사용하여 오픈 소스 LLM(예: Vicuna [138])을 Fine-tuning하는 방안을 모색하여 강력한 폐쇄형 LLM(예: GPT-4)과의 격차를 좁혔습니다.
\(\bullet\)_모델 기반 평가_. 사람에 의한 평가는 비용과 시간이 많이 들기 때문에 일부 연구에서는 ChatGPT 및 GPT-4와 같은 강력한 폐쇄형 LLM을 사람 평가자의 대리자로 활용할 것을 제안했습니다[727, 729]. 예를 들어, 알파카이발[729]은 일련의 지침을 수집하고 능력 있는 LLM(예: GPT-4)을 판사로 활용하여 참조 출력과 쌍별 비교를 수행합니다. 또한, MT-bench [727]은 평가를 위한 일련의 멀티 턴 질문을 수집하고 ICL 및 CoT와 같은 방법을 통해 LLM 기반 평가자의 신뢰성을 향상시킵니다. 사람 평가자와 비교했을 때 ChatGPT 및 GPT-4와 같은 LLM은 소규모 수작업 및 대규모 크라우드 소싱 평가 작업 모두에서 사람과 높은 일치도를 달성할 수 있습니다. 그럼에도 불구하고 이러한 폐쇄형 LLM은 액세스에 제한이 있으며 데이터 유출의 위험이 있습니다. 이를 해결하기 위해 최근 연구[727]에서는 인간 평가자의 채점 데이터를 사용하여 오픈 소스 LLM(예: Vicuna [138])을 모델 평가자로 미세 조정하는 방안을 모색하여 강력한 폐쇄형 LLM(예: GPT-4)과의 격차를 좁혔습니다.