**Turing Test**: This evaluation strategy necessitates that human evaluators differentiate between outputs produced by agents and those created by humans. If, in a given task, the evaluators cannot separate the agent and human results, it demonstrates that the agent can achieve human-like performance on this task. For instance, researchers in [29] conduct experiments on free-form Partisan text, and the human evaluators are asked to guess whether the responses are from human or LLM-based agent. In [20], the human evaluators are required to identify whether the behaviors are generated from the agents or real-humans. In EmotionBench [160], human annotations are collected to compare the emotional states expressed by LLM software and human participants across various scenarios. This comparison serves as a benchmark for evaluating the emotional intelligence of the LLM software, illustrating a nuanced approach to understanding agent capabilities in mimicking human-like performance and emotional expression.
**튜링 테스트**: 이 평가 전략은 인간 평가자가 에이전트가 생성한 출력과 인간이 생성한 출력을 구별해야 한다는 것을 필요로 합니다. 주어진 작업에서 평가자가 에이전트와 인간의 결과를 구분할 수 없다면, 이는 에이전트가 해당 작업에서 인간과 유사한 성능을 달성할 수 있음을 보여줍니다. 예를 들어, [29]의 연구자들은 자유 형식의 Partisan 텍스트에 대한 실험을 수행하며, 인간 평가자들은 응답이 인간으로부터 온 것인지 LLM 기반 에이전트로부터 온 것인지 추측하도록 요청받습니다. [20]에서는 인간 평가자들이 행동이 에이전트로부터 생성된 것인지 실제 인간으로부터 생성된 것인지 식별해야 합니다. EmotionBench [160]에서는 다양한 시나리오에서 LLM 소프트웨어와 인간 참가자가 표현한 감정 상태를 비교하기 위해 인간 주석이 수집됩니다. 이 비교는 LLM 소프트웨어의 감성 지능을 평가하기 위한 벤치마크로 사용되며, 에이전트가 인간과 유사한 성능과 감정 표현을 모방하는 능력을 이해하는 데 있어 세밀한 접근 방식을 보여줍니다.
**튜링 테스트**: 이 평가 전략은 인간 평가자가 에이전트가 생성한 결과물과 인간이 생성한 결과물을 구분해야 합니다. 특정 작업에서 평가자가 에이전트와 인간의 결과를 구분할 수 없는 경우, 해당 작업에서 에이전트가 인간과 같은 수준의 성능을 달성할 수 있음을 의미합니다. 예를 들어, [29]의 연구자들은 자유 형식의 당파적 텍스트에 대한 실험을 수행했는데, 인간 평가자들은 응답이 인간의 것인지 LLM 기반 에이전트의 것인지 맞추도록 요청받았습니다. [20]에서는 인간 평가자가 에이전트에서 생성된 행동인지 실제 인간의 행동인지 식별해야 합니다. EmotionBench [160]에서는 다양한 시나리오에서 LLM 소프트웨어와 인간 참가자가 표현하는 감정 상태를 비교하기 위해 인간 주석을 수집합니다. 이 비교는 LLM 소프트웨어의 감성 지능을 평가하는 벤치마크 역할을 하며, 인간과 유사한 성능과 감정 표현을 모방하는 에이전트 기능을 이해하는 미묘한 접근 방식을 보여줍니다.