In this study, we introduced AMIE, an LLM based AI system optimised for clinical dialogue with diagnostic reasoning capabilities. We compared AMIE consultations to those performed by PCPs using a randomized, double-blind crossover study with human simulated patients in the style of an Objective Structured Clinical Examination (OSCE). Notably, our study was not designed to be representative of clinical conventions either for traditional OSCE evaluations, for remote- or tele-medical consultation practices, or for the ways clinicians usually use text and chat messaging to communicate with patients. Our evaluation instead mirrored the most common way by which people interact with LLMs today, leveraging a potentially scalable and familiar mechanism for AI systems to engage in remote diagnostic dialogue. In this setting, we observed that AMIE, an AI system optimised specifically for the task, outperformed PCPs on simulated diagnostic conversations when evaluated along multiple clinically-meaningful axes of consultation quality.
이 연구에서 우리는 진단 추론 기능을 갖춘 임상 대화를 위해 최적화된 LLM 기반 AI 시스템인 AMIE를 소개했습니다. 우리는 AMIE 상담을 PCPs가 수행한 상담과 비교하기 위해 인간 모의 환자를 사용한 무작위, 이중 맹검 교차 연구를 통해 객관적 구조화 임상 시험 (OSCE) 스타일로 비교했습니다. 주목할 만한 점은, 우리의 연구는 전통적인 OSCE 평가, 원격 또는 텔레메디컬 상담 관행, 또는 임상의가 환자와 소통하기 위해 텍스트와 채팅 메시지를 사용하는 방식 중 어느 것도 대표하도록 설계되지 않았습니다. 대신, 우리의 평가는 사람들이 오늘날 LLM과 상호작용하는 가장 일반적인 방식을 반영하여, AI 시스템이 원격 진단 대화에 참여할 수 있는 잠재적으로 확장 가능하고 익숙한 메커니즘을 활용했습니다. 이러한 설정에서, 특정 작업을 위해 최적화된 AI 시스템인 AMIE가 다수의 임상적으로 의미 있는 상담 품질 축에서 평가될 때 모의 진단 대화에서 PCPs를 능가하는 것을 관찰했습니다.
이 연구에서는 진단 추론 기능을 갖춘 임상 대화에 최적화된 LLM 기반 AI 시스템인 AMIE를 소개했습니다. 우리는 객관적 구조화된 임상 시험(OSCE) 스타일의 인간 시뮬레이션 환자를 대상으로 무작위 이중맹검 교차 연구를 통해 AMIE 상담을 PCP가 수행한 상담과 비교했습니다. 특히, 이 연구는 기존 OSCE 평가, 원격 또는 원격 의료 상담 관행 또는 임상의가 일반적으로 환자와 의사소통을 위해 문자 및 채팅 메시지를 사용하는 방식에 대한 임상 관행을 대표하도록 설계되지 않았습니다. 대신, 이 평가는 잠재적으로 확장 가능하고 친숙한 메커니즘을 통해 AI 시스템이 원격 진단 대화에 참여할 수 있는 오늘날 사람들이 LLM과 상호 작용하는 가장 일반적인 방식을 반영했습니다. 이러한 환경에서, 특히 이러한 작업에 최적화된 AI 시스템인 AMIE는 여러 임상적으로 의미 있는 상담 품질 축을 따라 평가했을 때 시뮬레이션된 진단 대화에서 PCP보다 우수한 성능을 보였습니다.