**Evaluation Framework.** In contrast to prior works, we anchored our evaluation in criteria already established to be relevant for assessing physicians' communication skills and history-taking quality. We performed more extensive and diverse human evaluation than prior studies of AI systems, with ratings from both clinicians and simulated patients perspective. Our raters and scenarios were sourced from multiple geographic locations, including North America, India and the UK. Our pilot evaluation rubric is, to our knowledge, the first to evaluate LLMs' history-taking and communication skills using axes that are also measured in the real world for physicians themselves, increasing the clinical relevance of our research. Our evaluation framework is considerably more granular and specific than prior works on AI-generated clinical dialogue, which have not considered patient-centred communication best practice or clinically-relevant axes of consultation quality [64, 65, 66, 29, 67, 68].
**평가 프레임워크.** 이전 연구와 달리, 우리는 의사의 의사소통 능력과 병력 청취의 질을 평가하는 데 이미 관련성이 입증된 기준에 평가를 고정시켰습니다. 우리는 AI 시스템에 대한 이전 연구보다 더 광범위하고 다양한 인간 평가를 수행했으며, 임상의와 모의 환자의 관점에서 평가를 받았습니다. 우리의 평가자와 시나리오는 북미, 인도, 영국을 포함한 여러 지리적 위치에서 소싱되었습니다. 우리의 파일럿 평가 루브릭은, 우리가 아는 한, 실제로 의사들이 측정하는 축을 사용하여 LLM의 병력 청취 및 의사소통 능력을 평가한 최초의 것입니다. 이는 우리의 연구의 임상적 관련성을 높입니다. 우리의 평가 프레임워크는 환자 중심의 의사소통 모범 사례나 임상적으로 관련된 상담 품질 축을 고려하지 않은 AI 생성 임상 대화에 대한 이전 연구보다 훨씬 더 세분화되고 구체적입니다 [64, 65, 66, 29, 67, 68].
**평가 프레임워크.** 이전 연구와 달리, 우리는 의사의 의사소통 능력과 병력 청취 품질을 평가하는 데 이미 관련성이 입증된 기준에 평가를 기반으로 했습니다. 우리는 임상의와 모의 환자의 관점에서 모두 평가를 받아 이전의 AI 시스템 연구보다 더 광범위하고 다양한 인간 평가를 수행했습니다. 평가자와 시나리오는 북미, 인도, 영국을 포함한 여러 지역에서 조사되었습니다. 우리의 파일럿 평가 루브릭은 의사 자신에 대해 실제로 측정되는 축을 사용하여 LLM의 병력 청취 및 의사소통 능력을 평가한 최초의 것으로, 연구의 임상 관련성을 높였습니다. 우리의 평가 프레임워크는 환자 중심의 의사소통 모범 사례나 임상적으로 관련된 상담 품질 축을 고려하지 않은 AI 생성 임상 대화에 대한 이전 연구보다 훨씬 더 세분화되고 구체적입니다[64, 65, 66, 29, 67, 68].