tonomously, and then metrics like task success rate and human similarity are leveraged to evaluate the capability of the agents based on their trajectories and completed objectives [164, 166, 167, 33, 38, 59, 85, 138, 164, 170]. This method is expected to evaluate the agents' practical capabilities in real-world scenarios. (2) _Social evaluation_: This method utilizes metrics to assess social intelligence based on the agent interactions in simulated societies. Various approaches have been adopted, such as collaborative tasks to evaluate teamwork skills, debates to analyze argumentative reasoning, and human studies to measure social aptitude [165, 173, 34, 79, 102]. These approaches analyze qualities such as coherence, theory of mind, and social IQ to assess agents' capabilities in areas including cooperation, communication, empathy, and mimicking human social behavior. By subjecting agents to complex interactive settings, social evaluation provides valuable insights into agents' higher-level social cognition. (3) _Multi-task evaluation:_ In this method, people use a set of diverse tasks from different domains to evaluate the agent, which can effectively measure the agent generalization capability in open-domain environments [165, 172, 173, 166, 85, 29, 85]. (4) _Software testing:_ In this method, researchers evaluate the agents by letting them conduct tasks such as software testing tasks, such as generating test cases, reproducing bugs, debugging code, and interacting with developers and external tools [162, 169, 163, 169]. Then, one can use metrics like test coverage and bug detection rate to measure the effectiveness of LLM-based agents.
토노미하게 평가한 다음, 작업 성공률 및 사람과의 유사성과 같은 metrics를 활용하여 에이전트의 궤적과 완료된 목표를 기반으로 에이전트의 역량을 평가합니다[164, 166, 167, 33, 38, 59, 85, 138, 164, 170]. 이 방법은 실제 시나리오에서 에이전트의 실제 역량을 평가할 수 있을 것으로 기대됩니다. (2) _사회적 평가_: 이 방법은 시뮬레이션된 사회에서 에이전트의 상호 작용을 기반으로 metrics를 활용하여 사회적 지능을 평가합니다. 팀워크 능력을 평가하기 위한 협업 과제, 논증적 추론을 분석하기 위한 토론, 사회적 적성을 측정하기 위한 인간 연구 등 다양한 접근 방식이 채택되었습니다[165, 173, 34, 79, 102]. 이러한 접근 방식은 일관성, 마음의 이론, 사회적 IQ와 같은 자질을 분석하여 협력, 의사소통, 공감, 인간의 사회적 행동 모방 등의 영역에서 에이전트의 역량을 평가합니다. 사회적 평가는 에이전트를 복잡한 상호 작용 환경에 노출시킴으로써 에이전트의 상위 수준의 사회적 인지에 대한 귀중한 인사이트를 제공합니다. (3) _Multi-task 평가:_ 이 방법에서는 여러 도메인의 다양한 태스크 세트를 사용하여 에이전트를 평가하는데, 이는 오픈 도메인 환경에서 에이전트의 일반화 능력을 효과적으로 측정할 수 있습니다[165, 172, 173, 166, 85, 29, 85]. (4) _소프트웨어 테스트:_ 이 방법에서는 연구자들이 테스트 케이스 생성, 버그 재현, 코드 디버깅, 개발자 및 외부 도구와의 상호 작용 등의 소프트웨어 테스트 작업을 수행하도록 에이전트를 평가합니다[162, 169, 163, 169]. 그런 다음 테스트 커버리지 및 버그 탐지율과 같은 metrics를 사용하여 LLM 기반 에이전트의 효과를 측정할 수 있습니다.
토노미하게 평가한 다음, 작업 성공률 및 사람과의 유사성과 같은 메트릭을 활용하여 에이전트의 궤적과 완료된 목표를 기반으로 에이전트의 역량을 평가합니다[164, 166, 167, 33, 38, 59, 85, 138, 164, 170]. 이 방법은 실제 시나리오에서 에이전트의 실제 역량을 평가할 수 있을 것으로 기대됩니다. (2) _사회적 평가_: 이 방법은 시뮬레이션된 사회에서 에이전트의 상호 작용을 기반으로 메트릭을 활용하여 사회적 지능을 평가합니다. 팀워크 능력을 평가하기 위한 협업 과제, 논증적 추론을 분석하기 위한 토론, 사회적 적성을 측정하기 위한 인간 연구 등 다양한 접근 방식이 채택되었습니다[165, 173, 34, 79, 102]. 이러한 접근 방식은 일관성, 마음의 이론, 사회적 IQ와 같은 자질을 분석하여 협력, 의사소통, 공감, 인간의 사회적 행동 모방 등의 영역에서 에이전트의 역량을 평가합니다. 사회적 평가는 에이전트를 복잡한 상호 작용 환경에 노출시킴으로써 에이전트의 상위 수준의 사회적 인지에 대한 귀중한 인사이트를 제공합니다. (3) _멀티태스크 평가:_ 이 방법에서는 여러 도메인의 다양한 태스크 세트를 사용하여 에이전트를 평가하는데, 이는 오픈 도메인 환경에서 에이전트의 일반화 능력을 효과적으로 측정할 수 있습니다[165, 172, 173, 166, 85, 29, 85]. (4) _소프트웨어 테스트:_ 이 방법에서는 연구자들이 테스트 케이스 생성, 버그 재현, 코드 디버깅, 개발자 및 외부 도구와의 상호 작용 등의 소프트웨어 테스트 작업을 수행하도록 에이전트를 평가합니다[162, 169, 163, 169]. 그런 다음 테스트 커버리지 및 버그 탐지율과 같은 메트릭을 사용하여 LLM 기반 에이전트의 효과를 측정할 수 있습니다.