**Remaining Issues.** As discussed in Section 7.1.1, recent studies demonstrate that LLM-based evaluators expose multiple types of bias, such as order bias, self-preference bias, and length bias [647, 727]. Although some biases can be mitigated through methods like multi-path ensemble or multi-agent collaboration, they remain inherent to LLM-based evaluators. Consequently, addressing these biases intrinsically within the models continues to be an a challenging issue. In addition, recent work has revealed that LLMs may be incapable of understanding the self-generated content, exhibiting a weaker understanding capacity compared to their generation capabilities [899]. Even the most advanced LLMs still struggle identifying their reasoning or factual errors without external feedback [900, 901]. Consequently, current LLM-based evaluators might not be adequate for evaluating top-tier LLMs or complex tasks. This underscores the importance of improvement approaches for LLM-based evaluators, especially for evaluating capable LLMs and complex tasks demanding sophisticated reasoning, planning, and domain-specific knowledge.
**현안**. 섹션 7.1.1에서 논의한 바와 같이, 최근 연구에 따르면 LLM 기반 평가자는 순서 편향, 자기 선호 편향, 길이 편향 등 여러 유형의 편향성을 노출하는 것으로 나타났습니다[647, 727]. 일부 편향은 multi-path ensemble 또는 multi-agent collaboration과 같은 방법을 통해 완화할 수 있지만, LLM 기반 평가자에는 여전히 내재되어 있습니다. 따라서 이러한 편향을 모델 내에서 본질적으로 해결하는 것은 여전히 어려운 문제입니다. 또한 최근 연구에 따르면 LLM은 자체 생성 콘텐츠를 이해하지 못할 수 있으며, 생성 기능에 비해 이해 능력이 약하다는 사실이 밝혀졌습니다[899]. 가장 advanced한 LLM도 외부 피드백 없이는 자신의 추론이나 사실 오류를 식별하는 데 어려움을 겪고 있습니다[900, 901]. 따라서 현재의 LLM 기반 평가자는 최고 수준의 LLM이나 복잡한 작업을 평가하는 데 적절하지 않을 수 있습니다. 따라서 특히 유능한 LLM을 평가하고 정교한 추론, 계획 및 도메인별 지식이 필요한 복잡한 작업을 평가하기 위한 LLM 기반 평가자의 개선 접근법의 중요성이 강조되고 있습니다.
**현안**. 섹션 7.1.1에서 논의한 바와 같이, 최근 연구에 따르면 LLM 기반 평가자는 순서 편향, 자기 선호 편향, 길이 편향 등 여러 유형의 편향성을 노출하는 것으로 나타났습니다[647, 727]. 일부 편향은 다중 경로 앙상블 또는 다중 에이전트 협업과 같은 방법을 통해 완화할 수 있지만, LLM 기반 평가자에는 여전히 내재되어 있습니다. 따라서 이러한 편향을 모델 내에서 본질적으로 해결하는 것은 여전히 어려운 문제입니다. 또한 최근 연구에 따르면 LLM은 자체 생성 콘텐츠를 이해하지 못할 수 있으며, 생성 기능에 비해 이해 능력이 약하다는 사실이 밝혀졌습니다[899]. 가장 advanced한 LLM도 외부 피드백 없이는 자신의 추론이나 사실 오류를 식별하는 데 어려움을 겪고 있습니다[900, 901]. 따라서 현재의 LLM 기반 평가자는 최고 수준의 LLM이나 복잡한 작업을 평가하는 데 적절하지 않을 수 있습니다. 따라서 특히 유능한 LLM을 평가하고 정교한 추론, 계획 및 도메인별 지식이 필요한 복잡한 작업을 평가하기 위한 LLM 기반 평가자의 개선 접근법의 중요성이 강조되고 있습니다.