**Metrics**: In order to objectively evaluate the effectiveness of the agents, designing proper metrics is significant, which may influence the evaluation accuracy and comprehensiveness. Ideal evaluation metrics should precisely reflect the quality of the agents, and align with the human feelings when using them in real-world scenarios. In existing work, we can conclude the following representative evaluation metrics. (1) _Task success metrics:_ These metrics measure how well an agent can complete tasks and achieve goals. Common metrics include success rate [12, 57, 59, 22], reward/score [22, 59, 138], coverage [16], and accuracy [18, 40, 102]. Higher values indicate greater task completion ability. (2) _Human similarity metrics:_ These metrics quantify the degree to which the agent behaviors closely resembles that of humans. Typical examples include trajectory/location accuracy [164, 38], dialogue similarities [79, 102], and mimicry of human responses [29, 102]. Higher similarity suggests better human simulation performance. (3) _Efficiency metrics:_ In contrast to the aforementioned metrics used to evaluate the agent effectiveness, these metrics aim to assess the efficiency of agent. Commonly considered metrics encompass the length of planning [57], the cost associated with development [18], the speed of inference [16, 38], and number of clarification dialogues [138].
**Metrics**: 에이전트의 효과를 객관적으로 평가하기 위해서는 적절한 metrics를 설계하는 것이 중요하며, 이는 평가의 정확성과 포괄성에 영향을 미칠 수 있습니다. 이상적인 평가 metrics는 에이전트의 품질을 정확하게 반영하고 실제 시나리오에서 사용할 때 사람의 감정과 일치해야 합니다. 기존 연구에서 다음과 같은 대표적인 평가 metrics를 도출할 수 있습니다. (1) _Task success metrics:_ 이러한 metrics는 에이전트가 작업을 완료하고 목표를 달성하는 데 얼마나 잘할 수 있는지를 측정합니다. 일반적인 metrics로는 성공률[12, 57, 59, 22], 보상/점수[22, 59, 138], 커버리지[16], 정확도[18, 40, 102] 등이 있습니다. 값이 높을수록 작업 완료 능력이 뛰어나다는 것을 의미합니다. (2) _Human similarity metrics:_ 이러한 metrics는 에이전트의 행동이 인간의 행동과 얼마나 유사한지를 정량화합니다. 대표적인 예로는 궤적/위치 정확도[164, 38], 대화 유사성[79, 102], 인간 반응 모방[29, 102] 등이 있습니다. 유사도가 높을수록 인간 시뮬레이션 성능이 우수하다는 것을 의미합니다. (3) _Efficiency metrics:_ 앞서 설명한 에이전트의 효과를 평가하는 metrics와는 달리, 이 metrics는 에이전트의 효율성을 평가하는 것을 목표로 합니다. 일반적으로 고려되는 metrics에는 계획의 길이[57], 개발과 관련된 비용[18], 추론 속도[16, 38], 명확화 대화 횟수[138] 등이 있습니다.
**메트릭**: 에이전트의 효과를 객관적으로 평가하기 위해서는 적절한 메트릭을 설계하는 것이 중요하며, 이는 평가의 정확성과 포괄성에 영향을 미칠 수 있습니다. 이상적인 평가 지표는 에이전트의 품질을 정확하게 반영하고 실제 시나리오에서 사용할 때 사람의 감정과 일치해야 합니다. 기존 연구에서 다음과 같은 대표적인 평가 지표를 도출할 수 있습니다. (1) _작업 성공 메트릭:_ 이러한 메트릭은 에이전트가 작업을 완료하고 목표를 달성하는 데 얼마나 잘할 수 있는지를 측정합니다. 일반적인 메트릭으로는 성공률[12, 57, 59, 22], 보상/점수[22, 59, 138], 커버리지[16], 정확도[18, 40, 102] 등이 있습니다. 값이 높을수록 작업 완료 능력이 뛰어나다는 것을 의미합니다. (2) _인간 유사성 메트릭:_ 이러한 메트릭은 에이전트의 행동이 인간의 행동과 얼마나 유사한지를 정량화합니다. 대표적인 예로는 궤적/위치 정확도[164, 38], 대화 유사성[79, 102], 인간 반응 모방[29, 102] 등이 있습니다. 유사도가 높을수록 인간 시뮬레이션 성능이 우수하다는 것을 의미합니다. (3) _효율성 메트릭:_ 앞서 설명한 에이전트의 효과를 평가하는 메트릭과는 달리, 이 메트릭은 에이전트의 효율성을 평가하는 것을 목표로 합니다. 일반적으로 고려되는 메트릭에는 계획의 길이[57], 개발과 관련된 비용[18], 추론 속도[16, 38], 명확화 대화 횟수[138] 등이 있습니다.