\(\bullet\)_Model-based approach_. As a surrogate for human-based approaches, model-based approaches serve to diminish the reliance on human involvement, and enable more efficient and scalable evaluation. In addition, LLMs can provide meaningful explanations for the assigned rating scores,thereby enhancing the interpretability of evaluations. Despite their scalability and explanability, model-based approaches have been found to suffer from several issues, including position, verbosity, and self-enhancement bias [727]. Specially, position bias (_i.e.,_ the order to present the responses) refers to the fact that LLMs tend to assign high scores for the answers at specific positions over others, verbosity bias means that LLMs favor verbose answers even if they are short in quality compared with shorter answers, and self-enhancement bias indicates that LLMs often over-rate in their own generations. In addition, since LLMs have limited capacities in solving complex reasoning problems, they cannot serve as qualified evaluators for some difficult tasks (_e.g.,_ mathematical reasoning). These limitations can be mitigated to some extent by specific prompt engineering and fine-tuning strategies [727].
\(\bullet\)_모델 기반 접근 방식_. 모델 기반 접근 방식은 인간 기반 접근 방식의 대리자 역할을 하며, 인간의 개입에 대한 의존도를 낮추고 보다 효율적이고 확장 가능한 평가를 가능하게 합니다. 또한 LLM은 할당된 등급 점수에 대한 의미 있는 설명을 제공하여 평가의 해석 가능성을 향상시킬 수 있습니다. 확장성과 설명 가능성에도 불구하고 모델 기반 접근 방식은 위치, 장황함, 자기 향상 편향성[727] 등 몇 가지 문제로 인해 어려움을 겪고 있는 것으로 밝혀졌습니다. 특히 위치 편향('즉, 응답을 제시하는 순서')은 LLM이 특정 위치의 답변에 다른 답변보다 높은 점수를 부여하는 경향이 있음을 의미하며, 장황함 편향은 LLM이 짧은 답변에 비해 품질이 떨어지더라도 장황한 답변을 선호한다는 것을 의미하며, 자기 향상 편향은 LLM이 자체 생성에서 종종 과대 평가하는 것을 나타냅니다. 또한 LLM은 복잡한 추론 문제를 해결하는 데는 한계가 있기 때문에 일부 어려운 작업(_예: 수학적 추론)에 대해서는 적격한 평가자 역할을 할 수 없습니다. 이러한 한계는 특정 prompt engineering 및 Fine-tuning 전략[727]을 통해 어느 정도 완화할 수 있습니다.
\(\bullet\)_모델 기반 접근 방식_. 모델 기반 접근 방식은 인간 기반 접근 방식의 대리자 역할을 하며, 인간의 개입에 대한 의존도를 낮추고 보다 효율적이고 확장 가능한 평가를 가능하게 합니다. 또한 LLM은 할당된 등급 점수에 대한 의미 있는 설명을 제공하여 평가의 해석 가능성을 향상시킬 수 있습니다. 확장성과 설명 가능성에도 불구하고 모델 기반 접근 방식은 위치, 장황함, 자기 향상 편향성[727] 등 몇 가지 문제로 인해 어려움을 겪고 있는 것으로 밝혀졌습니다. 특히 위치 편향('즉, 응답을 제시하는 순서')은 LLM이 특정 위치의 답변에 다른 답변보다 높은 점수를 부여하는 경향이 있음을 의미하며, 장황함 편향은 LLM이 짧은 답변에 비해 품질이 떨어지더라도 장황한 답변을 선호한다는 것을 의미하며, 자기 향상 편향은 LLM이 자체 생성에서 종종 과대 평가하는 것을 나타냅니다. 또한 LLM은 복잡한 추론 문제를 해결하는 데는 한계가 있기 때문에 일부 어려운 작업(_예: 수학적 추론)에 대해서는 적격한 평가자 역할을 할 수 없습니다. 이러한 한계는 특정 프롬프트 엔지니어링 및 미세 조정 전략[727]을 통해 어느 정도 완화할 수 있습니다.