Prior frameworks for human evaluation of AI systems' performance in diagnostic dialogue have been limited in detail. They have not been anchored in established criteria for assessing communication skills and the quality of history-taking. For example, [29] reported a 5-point scale describing overall "human evaluation", [65] reported "relevance, informativeness and human likeness", [66] reported "fluency, expertise and relevance", [67] "fluency and adequacy" and [68] "fluency". These criteria are far less comprehensive and specific than those taught and practiced by medical professionals. A multi-agent framework for assessing conversational capabilities of LLMs is introduced in [64], however, the study was performed in the restricted setting of dermatology, used AI models to emulate both doctor and patient sides of simulated interactions, and performed limited expert evaluation of history-taking as "complete" or not.
진단 대화에서 AI 시스템의 성능을 인간이 평가하기 위한 기존 프레임워크는 세부적인 측면에서 한계가 있었습니다. 의사 소통 기술과 병력 수집의 품질을 평가하기 위한 확립된 기준에 기반하지 않았습니다. 예를 들어, [29]는 전반적인 'human evaluation'을 설명하는 5점 척도를 보고했고, [65]는 'relevance, informativeness 및 human likeness', [66]은 'fluency, expertise 및 relevance', [67]은 'fluency 및 adequacy', [68]은 'fluency'를 보고했습니다. 이러한 기준은 의료 전문가가 가르치고 실습하는 기준에 비해 훨씬 덜 포괄적이고 구체적입니다. LLM의 대화 능력을 평가하기 위한 multi-agent framework가 [64]에 소개되었지만, 이 연구는 피부과라는 제한된 환경에서 수행되었으며, AI 모델을 사용하여 모의 상호 작용의 의사와 환자 측면을 모두 에뮬레이션했으며, 병력 수집에 대한 전문가의 평가는 "complete" 또는 그렇지 않은 것으로 제한적으로 수행되었습니다.
진단 대화에서 AI 시스템의 성능을 인간이 평가하기 위한 기존 프레임워크는 세부적인 측면에서 한계가 있었습니다. 의사 소통 기술과 병력 수집의 품질을 평가하기 위한 확립된 기준에 기반하지 않았습니다. 예를 들어, [29]는 전반적인 '인간 평가'를 설명하는 5점 척도를 보고했고, [65]는 '관련성, 유익성 및 인간성', [66]은 '유창성, 전문성 및 관련성', [67]은 '유창성 및 적절성', [68]은 '유창성'을 보고했습니다. 이러한 기준은 의료 전문가가 가르치고 실습하는 기준에 비해 훨씬 덜 포괄적이고 구체적입니다. LLM의 대화 능력을 평가하기 위한 다중 에이전트 프레임워크가 [64]에 소개되었지만, 이 연구는 피부과라는 제한된 환경에서 수행되었으며, AI 모델을 사용하여 모의 상호 작용의 의사와 환자 측면을 모두 에뮬레이션했으며, 병력 수집에 대한 전문가의 평가는 "완료" 또는 그렇지 않은 것으로 제한적으로 수행되었습니다.