**Benchmarks**: Given the metrics and protocols, a crucial remaining aspect is the selection of an appropriate benchmark for conducting the evaluation. In the past, people have used various benchmarks in their experiments. For example, many researchers use simulation environments like ALF-World [59], IGLU [138], and Minecraft [16, 33, 38] as benchmarks to evaluate the agent capabilities. Tachikuma [170] is a benchmark that leverages TRP game logs to evaluate LLMs' ability to understand and infer complex interactions with multiple characters and novel objects. AgentBench [172] provides a comprehensive framework for evaluating LLMs as autonomous agents across diverse environments. It represents the first systematic assessment of LLMs as agents on real-world challenges across diverse domains. SocKET [165] is a comprehensive benchmark for evaluating the social capabilities of LLMs across 58 tasks covering five categories of social information such as humor and sarcasm, emotions and feelings, credibility, etc. AgentSims [34] is a versatile framework for evaluating LLM-based agents, where one can flexibly design the agent planning, memory and action strategies, and measure the effectiveness of different agent modules in interactive environments. ToolBench [153] is an open-source project that aims to support the development of powerful LLMs with general tool-use capability. It provides an open platform for training, serving, and evaluating LLMs based on tool learning. WebShop [85] develops a benchmark for evaluating LLM-based agents in terms of their capabilities for product search and retrieval. The benchmark is constructed using a collection of 1.18 million real-world items. Mobile-Env [166] is an extendable interactive platform which can be used to evaluate the multi-step interaction capabilities of LLM-based agents. WebArena [171] offers a comprehensive website environment that spans multiple domains. Its purpose is to evaluate agents in an end-to-end fashion and determine the accuracy of their completed tasks. GentBench [174] is a benchmark designed to evaluate the agent capabilities, including their reasoning, safety, and efficiency, when utilizing tools to complete complex tasks. RocoBench [93] is a benchmark with six tasks evaluating multi-agent collaboration across diverse scenarios, emphasizing communication and coordination strategies to assess adaptability and generalization in cooperative robotics. Emotion-Bench [160] evaluates the emotion appraisal ability of LLMs, i.e., how their feelings change when presented with specific situations. It collects over 400 situations that elicit eight negative emotions and measures the emotional states of LLMs and human subjects using self-report scales. PEB [125] is a benchmark tailored for assessing LLM-based agents in penetration testing scenarios, comprising 13 diverse targets from leading platforms. It offers a structured evaluation across varying difficulty levels, reflecting real-world challenges for agents. ClemBench [167] contains five Dialogue Games to assess LLMs' ability as a player. E2E [175] is an end-to-end benchmark for testing the accuracy and usefulness of chatbots.
**벤치마크**: 메트릭과 프로토콜이 주어지면 평가를 수행하기 위한 적절한 benchmark를 선택하는 것이 중요한 남은 측면입니다. 과거에는 사람들이 실험에 다양한 benchmark를 사용했습니다. 예를 들어, 많은 연구자들이 ALF-World [59], IGLU [138], Minecraft [16, 33, 38]과 같은 시뮬레이션 환경을 benchmark로 사용하여 에이전트 기능을 평가합니다. Tachikuma [170]는 TRP 게임 로그를 활용하여 여러 캐릭터 및 새로운 오브젝트와의 복잡한 상호작용을 이해하고 추론하는 LLM의 능력을 평가하는 benchmark입니다. AgentBench [172]는 다양한 환경에서 자율 에이전트로서 LLM을 평가하기 위한 포괄적인 프레임워크를 제공합니다. 다양한 도메인에 걸쳐 실제 문제에 대한 에이전트로서의 LLM을 체계적으로 평가한 최초의 benchmark입니다. SocKET [165]은 유머와 풍자, 감정과 느낌, 신뢰성 등 5가지 범주의 사회적 정보를 아우르는 58개의 과제를 통해 LLM의 사회적 역량을 평가하기 위한 포괄적인 benchmark입니다. AgentSims [34]는 LLM 기반 에이전트를 평가하기 위한 다용도 프레임워크로, 에이전트 계획, 메모리 및 행동 전략을 유연하게 설계하고 대화형 환경에서 다양한 에이전트 모듈의 효과를 측정할 수 있습니다. ToolBench [153]는 일반적인 도구 사용 기능을 갖춘 강력한 LLM의 개발을 지원하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 이 프로젝트는 도구 학습을 기반으로 LLM을 훈련, 서비스 및 평가할 수 있는 개방형 플랫폼을 제공합니다. WebShop [85]은 제품 검색 및 검색 기능 측면에서 LLM 기반 에이전트를 평가하기 위한 benchmark를 개발합니다. 이 benchmark는 118만 개의 실제 아이템 컬렉션을 사용하여 구성되었습니다. Mobile-Env [166]는 확장 가능한 대화형 플랫폼으로, LLM 기반 에이전트의 다단계 상호 작용 기능을 평가하는 데 사용할 수 있습니다. WebArena [171]는 여러 도메인에 걸친 포괄적인 웹사이트 환경을 제공합니다. 그 목적은 에이전트를 end-to-end 방식으로 평가하고 완료된 작업의 정확성을 판단하는 것입니다. GentBench [174]는 복잡한 작업을 완료할 때 도구를 활용하는 추론, 안전성, 효율성 등 에이전트 기능을 평가하기 위해 설계된 benchmark입니다. RocoBench [93]는 다양한 시나리오에서 다중 에이전트 협업을 평가하는 6가지 과제로 구성된 benchmark로, 협력 로봇 공학에서 적응성과 일반화를 평가하기 위한 커뮤니케이션 및 조정 전략을 강조합니다. Emotion-Bench [160]는 LLM의 감정 평가 능력, 즉 특정 상황이 제시되었을 때 감정이 어떻게 변하는지를 평가합니다. 이 benchmark는 8가지 부정적인 감정을 불러일으키는 400개 이상의 상황을 수집하고 자가 보고 척도를 사용하여 LLM과 인간 피험자의 감정 상태를 측정합니다. PEB [125]는 침투 테스트 시나리오에서 LLM 기반 에이전트를 평가하기 위한 benchmark로, 주요 플랫폼의 13가지 다양한 대상으로 구성되어 있습니다. 이 benchmark는 다양한 난이도에 걸쳐 구조화된 평가를 제공하여 에이전트의 실제 문제를 반영합니다. ClemBench [167]에는 LLM의 플레이어로서의 능력을 평가하기 위한 5가지 대화 게임이 포함되어 있습니다. E2E [175]는 챗봇의 정확성과 유용성을 테스트하기 위한 end-to-end benchmark입니다.
**벤치마크**: 메트릭과 프로토콜이 주어지면 평가를 수행하기 위한 적절한 벤치마크를 선택하는 것이 중요한 남은 측면입니다. 과거에는 사람들이 실험에 다양한 벤치마크를 사용했습니다. 예를 들어, 많은 연구자들이 ALF-World [59], IGLU [138], Minecraft [16, 33, 38]과 같은 시뮬레이션 환경을 벤치마크로 사용하여 에이전트 기능을 평가합니다. Tachikuma [170]는 TRP 게임 로그를 활용하여 여러 캐릭터 및 새로운 오브젝트와의 복잡한 상호작용을 이해하고 추론하는 LLM의 능력을 평가하는 벤치마크입니다. 에이전트벤치 [172]는 다양한 환경에서 자율 에이전트로서 LLM을 평가하기 위한 포괄적인 프레임워크를 제공합니다. 다양한 도메인에 걸쳐 실제 문제에 대한 에이전트로서의 LLM을 체계적으로 평가한 최초의 벤치마크입니다. SocKET [165]은 유머와 풍자, 감정과 느낌, 신뢰성 등 5가지 범주의 사회적 정보를 아우르는 58개의 과제를 통해 LLM의 사회적 역량을 평가하기 위한 포괄적인 벤치마크입니다. 에이전트심스 [34]는 LLM 기반 에이전트를 평가하기 위한 다용도 프레임워크로, 에이전트 계획, 메모리 및 행동 전략을 유연하게 설계하고 대화형 환경에서 다양한 에이전트 모듈의 효과를 측정할 수 있습니다. ToolBench [153]는 일반적인 도구 사용 기능을 갖춘 강력한 LLM의 개발을 지원하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 이 프로젝트는 도구 학습을 기반으로 LLM을 훈련, 서비스 및 평가할 수 있는 개방형 플랫폼을 제공합니다. WebShop [85]은 제품 검색 및 검색 기능 측면에서 LLM 기반 에이전트를 평가하기 위한 벤치마크를 개발합니다. 이 벤치마크는 118만 개의 실제 아이템 컬렉션을 사용하여 구성되었습니다. Mobile-Env [166]는 확장 가능한 대화형 플랫폼으로, LLM 기반 에이전트의 다단계 상호 작용 기능을 평가하는 데 사용할 수 있습니다. WebArena [171]는 여러 도메인에 걸친 포괄적인 웹사이트 환경을 제공합니다. 그 목적은 에이전트를 엔드투엔드 방식으로 평가하고 완료된 작업의 정확성을 판단하는 것입니다. GentBench [174]는 복잡한 작업을 완료할 때 도구를 활용하는 추론, 안전성, 효율성 등 에이전트 기능을 평가하기 위해 설계된 벤치마크입니다. RocoBench [93]는 다양한 시나리오에서 다중 에이전트 협업을 평가하는 6가지 과제로 구성된 벤치마크로, 협력 로봇 공학에서 적응성과 일반화를 평가하기 위한 커뮤니케이션 및 조정 전략을 강조합니다. Emotion-Bench [160]는 LLM의 감정 평가 능력, 즉 특정 상황이 제시되었을 때 감정이 어떻게 변하는지를 평가합니다. 이 벤치마크는 8가지 부정적인 감정을 불러일으키는 400개 이상의 상황을 수집하고 자가 보고 척도를 사용하여 LLM과 인간 피험자의 감정 상태를 측정합니다. PEB [125]는 침투 테스트 시나리오에서 LLM 기반 에이전트를 평가하기 위한 벤치마크로, 주요 플랫폼의 13가지 다양한 대상으로 구성되어 있습니다. 이 벤치마크는 다양한 난이도에 걸쳐 구조화된 평가를 제공하여 에이전트의 실제 문제를 반영합니다. ClemBench [167]에는 LLM의 플레이어로서의 능력을 평가하기 위한 5가지 대화 게임이 포함되어 있습니다. E2E [175]는 챗봇의 정확성과 유용성을 테스트하기 위한 엔드투엔드 벤치마크입니다.