Subjective evaluation measures the agent capabilities based on human judgements [20, 22, 29, 79, 158]. It is suitable for the scenarios where there are no evaluation datasets or it is very hard to design quantitative metrics, for example, evaluating the agent's intelligence or user-friendliness. In the following, we present two commonly used strategies for subjective evaluation.
주관적 평가는 인간의 판단에 기반하여 에이전트의 능력을 측정합니다 [20, 22, 29, 79, 158]. 이는 평가 데이터셋이 없거나 정량적 지표를 설계하기 매우 어려운 시나리오, 예를 들어 에이전트의 지능이나 사용자 친화성을 평가할 때 적합합니다. 다음으로, 주관적 평가를 위한 두 가지 일반적으로 사용되는 전략을 소개합니다.
주관적 평가는 인간의 판단에 따라 에이전트 기능을 측정합니다[20, 22, 29, 79, 158]. 평가 데이터 세트가 없거나 지능이나 사용자 친화성 평가와 같이 정량적 지표를 설계하기가 매우 어려운 시나리오에 적합합니다. 다음에서는 주관적 평가를 위해 일반적으로 사용되는 두 가지 전략을 소개합니다.