\(\bullet\)_Human-based approach_. Human evaluation offers several advantages when assessing the capabilities of LLMs to solve real-world tasks. One of the key benefits is its ability to directly reflect the actual abilities of LLMs. Based on feedback and experiences from real users, human evaluation provides a more direct measure of LLMs' performance in real-world scenarios. Further, it can conduct more flexible and diverse evaluation tasks based on human evaluators. For instance, users can submit various queries and test the abilities of LLMs according to their own task cognition. It allows for a deep understanding of the strengths and weaknesses of LLMs across different types of tasks and contexts. However, human evaluation also has inherent limitations that could potentially affect its accuracy and consistency. Factors such as personalized tastes and varying education levels among evaluators can introduce biases or even inconsistencies in the evaluation process. In some cases, users' judgments are likely to be subjective, which may not reflect the true capabilities of the LLMs. Moreover, conducting robust and reliable human evaluations often requires a large number of evaluators, which can be very expensive and time-consuming. In addition, human evaluation is often not reproducible, making it infeasible to extend existing evaluation results or track the progress of LLMs.
\(\bullet\)_인간 기반 접근법_. 인간 평가 방식은 LLMs의 실제 과제 해결 능력을 평가할 때 여러 가지 장점을 제공합니다. 주요 이점 중 하나는 LLMs의 실제 능력을 직접 반영할 수 있다는 점입니다. 실제 사용자들의 피드백과 경험을 바탕으로, 인간 평가는 실제 시나리오에서 LLMs의 성능을 보다 직접적으로 측정할 수 있습니다. 또한, 인간 평가자는 보다 유연하고 다양한 평가 작업을 수행할 수 있습니다. 예를 들어, 사용자는 다양한 질문을 제출하고 자신의 과제 인식에 따라 LLMs의 능력을 테스트할 수 있습니다. 이를 통해 다양한 과제와 맥락에서 LLMs의 강점과 약점을 깊이 이해할 수 있습니다. 그러나 인간 평가에는 정확성과 일관성에 영향을 미칠 수 있는 고유한 한계도 존재합니다. 평가자의 개인적인 취향이나 교육 수준의 차이와 같은 요인은 평가 과정에서 편향이나 일관성 부족을 초래할 수 있습니다. 일부 경우에는 사용자의 판단이 주관적일 가능성이 높아 LLMs의 실제 능력을 반영하지 못할 수 있습니다. 게다가, 견고하고 신뢰할 수 있는 인간 평가를 수행하려면 많은 수의 평가자가 필요하며, 이는 매우 비용이 많이 들고 시간이 많이 소요될 수 있습니다. 또한, 인간 평가는 종종 재현 가능하지 않아 기존 평가 결과를 확장하거나 LLMs의 발전을 추적하는 것이 불가능할 수 있습니다.
\(\bullet\)_인간 기반 접근 방식_. 인간 평가는 실제 작업을 해결하기 위한 LLM의 역량을 평가할 때 몇 가지 장점을 제공합니다. 주요 장점 중 하나는 LLM의 실제 능력을 직접적으로 반영할 수 있다는 점입니다. 실제 사용자의 피드백과 경험을 바탕으로 인간 평가는 실제 시나리오에서 LLM의 성능을 보다 직접적으로 측정할 수 있습니다. 또한 인간 평가자를 기반으로 보다 유연하고 다양한 평가 작업을 수행할 수 있습니다. 예를 들어, 사용자는 다양한 쿼리를 제출하고 자신의 작업 인지에 따라 LLM의 능력을 테스트할 수 있습니다. 이를 통해 다양한 유형의 작업과 상황에서 LLM의 강점과 약점을 깊이 이해할 수 있습니다. 하지만 인간 평가에는 정확성과 일관성에 영향을 미칠 수 있는 내재적인 한계도 있습니다. 평가자 간의 개인화된 취향과 다양한 교육 수준과 같은 요인이 평가 과정에 편견을 유발하거나 심지어 불일치를 초래할 수 있습니다. 경우에 따라 사용자의 판단이 주관적일 수 있으며, 이는 LLM의 실제 능력을 반영하지 못할 수 있습니다. 또한 강력하고 신뢰할 수 있는 인간 평가를 수행하려면 많은 평가자가 필요한 경우가 많기 때문에 비용과 시간이 많이 소요될 수 있습니다. 또한 인간 평가는 재현이 불가능한 경우가 많기 때문에 기존 평가 결과를 확장하거나 LLM의 진행 상황을 추적하는 것이 불가능합니다.