* We introduced AMIE (Articulate Medical Intelligence Explorer), an LLM based AI system optimized for clinical history-taking and diagnostic dialogue. * To scale AMIE across a multitude of specialties and scenarios, we developed a novel self-play based simulated diagnostic dialogue environment with automated feedback mechanisms to enrich and accelerate its learning process. We also introduced an inference time chain-of-reasoning strategy to improve AMIE's diagnostic accuracy and conversation quality. * We developed a pilot evaluation rubric to assess the history-taking, diagnostic reasoning, communication skills and empathy of diagnostic conversational medical AI, encompassing both clinician-centred and patient-centred metrics. * We designed and conducted a blinded remote OSCE study with 149 case scenarios from clinical providers in Canada, the UK, and India, enabling randomized and counterbalanced comparison of AMIE to PCPs when performing consultations with validated patient actors. AMIE exhibited superior diagnostic accuracy compared to PCPs as assessed by various measures (e.g., top-1 and top-3 accuracy of the differential diagnosis list). Across 28 out of 32 evaluation axes from the specialist physician perspective and 24 out of 26 evaluation axes from the patient actor perspective, AMIE was rated superior to PCPs while being non-inferior on the rest. * We performed a range of ablations to further understand and characterize the capabilities of AMIE, highlighted important limitations, and proposed key next steps for real-world clinical translation of AMIE.
* 임상 병력 청취 및 진단 대화에 최적화된 LLM 기반 AI 시스템인 AMIE(Articulate Medical Intelligence Explorer)를 소개했습니다. * 다양한 전문 분야와 시나리오에 AMIE를 확장하기 위해 자동 피드백 메커니즘을 갖춘 새로운 self-play 기반 시뮬레이션 진단 대화 환경을 개발하여 학습 과정을 보강하고 가속화했습니다. 또한 inference time chain-of-reasoning 전략을 도입하여 AMIE의 진단 정확도와 대화 품질을 개선했습니다. * 임상의 중심 및 환자 중심 지표를 모두 포함하는 진단 대화 의료 AI의 병력 청취, 진단 추론, 의사소통 기술 및 공감을 평가하기 위한 파일럿 평가 루브릭을 개발했습니다. * 캐나다, 영국, 인도의 임상 의료진으로부터 149개의 사례 시나리오를 통해 맹검 원격 OSCE 연구를 설계 및 수행하여 검증된 환자 배우와의 상담을 수행할 때 AMIE와 PCP를 무작위로 비교 평가할 수 있었습니다. 다양한 측정 기준(예: 감별 진단 목록의 상위 1 및 상위 3 정확도)으로 평가한 결과, AMIE는 PCP에 비해 우수한 진단 정확도를 보였습니다. 전문의 관점에서 32개 평가 축 중 28개, 환자 행위자 관점에서 26개 평가 축 중 24개에서 AMIE가 PCP보다 우수한 것으로 평가되었으며, 나머지 평가 축에서는 비열등한 것으로 평가되었습니다. * AMIE의 기능을 더 깊이 이해하고 특성화하기 위해 다양한 절제술을 수행하여 중요한 한계를 강조하고 AMIE의 실제 임상 적용을 위한 주요 다음 단계를 제안했습니다.
* 임상 병력 청취 및 진단 대화에 최적화된 LLM 기반 AI 시스템인 AMIE(Articulate Medical Intelligence Explorer)를 소개했습니다. * 다양한 전문 분야와 시나리오에 AMIE를 확장하기 위해 자동 피드백 메커니즘을 갖춘 새로운 셀프 플레이 기반 시뮬레이션 진단 대화 환경을 개발하여 학습 과정을 보강하고 가속화했습니다. 또한 추론 시간 체인 전략을 도입하여 AMIE의 진단 정확도와 대화 품질을 개선했습니다. * 임상의 중심 및 환자 중심 지표를 모두 포함하는 진단 대화 의료 AI의 병력 청취, 진단 추론, 의사소통 기술 및 공감을 평가하기 위한 파일럿 평가 루브릭을 개발했습니다. * 캐나다, 영국, 인도의 임상 의료진으로부터 149개의 사례 시나리오를 통해 맹검 원격 OSCE 연구를 설계 및 수행하여 검증된 환자 배우와의 상담을 수행할 때 AMIE와 PCP를 무작위로 비교 평가할 수 있었습니다. 다양한 측정 기준(예: 감별 진단 목록의 상위 1 및 상위 3 정확도)으로 평가한 결과, AMIE는 PCP에 비해 우수한 진단 정확도를 보였습니다. 전문의 관점에서 32개 평가 축 중 28개, 환자 행위자 관점에서 26개 평가 축 중 24개에서 AMIE가 PCP보다 우수한 것으로 평가되었으며, 나머지 평가 축에서는 비열등한 것으로 평가되었습니다. * AMIE의 기능을 더 깊이 이해하고 특성화하기 위해 다양한 절제술을 수행하여 중요한 한계를 강조하고 AMIE의 실제 임상 적용을 위한 주요 다음 단계를 제안했습니다.