_Remark_.: LLM-based agents are usually designed to serve humans. Thus, subjective agent evaluation plays a critical role, since it reflects human criterion. However, this strategy also faces issues such as high costs, inefficiency, and population bias. To address these issues, a growing number of researchers are investigating the use of LLMs themselves as intermediaries for carrying out these subjective assessments. For example, in ChemCrow [75], researchers assess the experimental results using GPT. They consider both the completion of tasks and the accuracy of the underlying processes. Similarly, ChatEval [161] introduces a novel approach by employing multiple agents to critique and assess the results generated by various candidate models in a structured debate format. This innovative use of LLMs for evaluation purposes holds promise for enhancing both the credibility and applicability of subjective assessments in the future. As LLM technology continues to evolve, it is anticipated that these methods will become increasingly reliable and find broader applications, thereby overcoming the current limitations of direct human evaluation.
_Remark_.: LLM 기반 에이전트는 보통 인간을 돕기 위해 설계됩니다. 따라서 주관적인 에이전트 평가가 중요한 역할을 하며, 이는 인간의 기준을 반영합니다. 그러나 이 전략은 높은 비용, 비효율성, 인구 편향과 같은 문제에 직면하기도 합니다. 이러한 문제를 해결하기 위해, 점점 더 많은 연구자들이 이러한 주관적인 평가를 수행하기 위한 중개자로 LLM 자체를 사용하는 방법을 조사하고 있습니다. 예를 들어, ChemCrow [75]에서는 연구자들이 GPT를 사용하여 실험 결과를 평가합니다. 이들은 작업의 완료와 기본 프로세스의 정확성을 모두 고려합니다. 마찬가지로, ChatEval [161]은 여러 에이전트를 고용하여 다양한 후보 모델이 생성한 결과를 구조화된 토론 형식으로 비판하고 평가하는 새로운 접근 방식을 도입합니다. 평가 목적으로 LLM을 혁신적으로 사용하는 이 방법은 미래에 주관적인 평가의 신뢰성과 적용 가능성을 향상시킬 가능성을 가지고 있습니다. LLM 기술이 계속 발전함에 따라, 이러한 방법들이 점점 더 신뢰할 수 있게 되고, 직접적인 인간 평가의 현재 한계를 극복하여 더 넓은 응용 분야를 찾을 것으로 예상됩니다.
_Remark_.: LLM 기반 에이전트는 일반적으로 인간에게 서비스를 제공하도록 설계되었습니다. 따라서 주관적인 에이전트 평가는 인간의 기준을 반영하기 때문에 중요한 역할을 합니다. 그러나 이러한 전략은 높은 비용, 비효율성, 인구 편향성 등의 문제도 직면하고 있습니다. 이러한 문제를 해결하기 위해 점점 더 많은 연구자들이 LLM 자체를 이러한 주관적인 평가를 수행하기 위한 중개자로 사용하는 방법을 연구하고 있습니다. 예를 들어, ChemCrow [75]에서 연구자들은 GPT를 사용하여 실험 결과를 평가합니다. 여기에는 작업 완료와 기본 프로세스의 정확성을 모두 고려합니다. 마찬가지로 ChatEval [161]은 다양한 후보 모델에서 생성된 결과를 구조화된 토론 형식으로 비평하고 평가하기 위해 여러 에이전트를 사용하는 새로운 접근 방식을 소개합니다. 평가 목적으로 LLM을 혁신적으로 사용하는 이 방법은 향후 주관적인 평가의 신뢰성과 적용 가능성을 모두 향상시킬 수 있는 가능성을 가지고 있습니다. LLM 기술이 계속 발전함에 따라 이러한 방법은 점점 더 신뢰할 수 있고 광범위하게 적용되어 현재 직접적인 인간 평가의 한계를 극복할 수 있을 것으로 기대됩니다.