While human evaluation can generally offer reliable quality assessment, it is also often hindered by high annotation costs, significant time requirements, and annotation inconsistencies [887]. In contrast, automatic evaluation can be employed as a scalable alternative to human evaluation. Traditional automatic evaluations have relied on reference-based metrics (_e.g._, BLEU and ROUGE). Recently, with the emergence of LLMs as general task solvers highlights their potential as automatic evaluators [647, 727], making it promising to conduct LLM based evaluation. In the following part, we will introduce the recent progress on LLM for evaluation, including evaluation formats, methods, meta-evaluation, and the remaining issues.
인간의 평가는 일반적으로 신뢰할 수 있는 품질 평가를 제공할 수 있지만, 높은 주석 비용, 상당한 시간 요구, 주석 불일치 등으로 인해 종종 방해를 받습니다[887]. 반면, 자동 평가는 인간 평가의 확장 가능한 대안으로 사용될 수 있습니다. 기존의 자동 평가는 참조 기반 메트릭(예: BLEU 및 ROUGE)에 의존해 왔습니다. 최근에는 일반적인 작업 솔버로서 Large Language Models (LLMs)이 등장하면서 자동 평가자로서의 잠재력이 강조되면서[647, 727] LLM 기반 평가를 수행할 수 있는 가능성이 열리고 있습니다. 다음 부분에서는 평가 형식, 방법, 메타 평가 및 남은 문제를 포함하여 평가를 위한 LLM의 최근 진전에 대해 소개합니다.
인간의 평가는 일반적으로 신뢰할 수 있는 품질 평가를 제공할 수 있지만, 높은 주석 비용, 상당한 시간 요구, 주석 불일치 등으로 인해 종종 방해를 받습니다[887]. 반면, 자동 평가는 인간 평가의 확장 가능한 대안으로 사용될 수 있습니다. 기존의 자동 평가는 참조 기반 메트릭(예: BLEU 및 ROUGE)에 의존해 왔습니다. 최근에는 일반적인 작업 솔버로서 LLM이 등장하면서 자동 평가자로서의 잠재력이 강조되면서[647, 727] LLM 기반 평가를 수행할 수 있는 가능성이 열리고 있습니다. 다음 부분에서는 평가 형식, 방법, 메타 평가 및 남은 문제를 포함하여 평가를 위한 LLM의 최근 진전에 대해 소개합니다.