Figure 1: **Overview of contributions.** AMIE is a conversational medical AI optimised for diagnostic dialogue. AMIE is instruction fine-tuned with a combination of real-world and simulated medical dialogues, alongside a diverse set of medical reasoning, question answering, and summarization datasets. Notably, we designed a self-play based simulated dialogue environment with automated feedback mechanisms to scale AMIE’s capabilities across various medical contexts and specialities. Specifically, this iterative self-improvement process consisted of two self-play loops: (1) An “inner” self-play loop, where AMIE leveraged in-context critic feedback to refine its behavior on simulated conversations with an AI patient agent; (2) An “outer” self-play loop where the set of refined simulated dialogues were incorporated into subsequent fine-tuning iterations. During online inference, AMIE used a chain-of-reasoning strategy to progressively refine its response conditioned on the current conversation to arrive at an accurate and grounded reply to the patient in each dialogue turn. We designed and conducted a blinded remote Objective Structured Clinical Examination (OSCE) with validated simulated patient actors interacting with AMIE or Primary Care Physicians (PCPs) via a text interface. Across multiple axes corresponding to both specialist physician (28 out of 32) and patient actor (24 out of 26) perspective, AMIE was rated as superior to PCPs while being non-inferior on the rest.
그림 1: **기여도 개요.** AMIE는 진단 대화에 최적화된 대화형 의료 AI입니다. AMIE는 다양한 의료 추론, question answering 및 요약 데이터 세트와 함께 실제 의료 대화 및 시뮬레이션 의료 대화의 조합으로 Instruction Fine-tuning됩니다. 특히, 다양한 의료 상황과 전문 분야에 걸쳐 AMIE의 역량을 확장하기 위해 자동화된 피드백 메커니즘을 갖춘 self-play 기반의 시뮬레이션 대화 환경을 설계했습니다. 구체적으로, 이러한 반복적인 자기 개선 프로세스는 두 가지 self-play 루프로 구성되었습니다: (1) AMIE가 인공지능 환자 에이전트와의 시뮬레이션 대화에서 자신의 행동을 개선하기 위해 in-context critic feedback을 활용하는 "내부" self-play 루프, (2) 개선된 시뮬레이션 대화 세트가 후속 Fine-tuning 반복에 통합되는 "외부" self-play 루프. 온라인 추론 중에 AMIE는 chain-of-reasoning 전략을 사용하여 현재 대화에 따라 응답을 점진적으로 개선하여 각 대화 턴에서 환자에게 정확하고 근거 있는 답변을 제공했습니다. 우리는 검증된 시뮬레이션 환자 배우가 텍스트 인터페이스를 통해 AMIE 또는 주치의(PCP)와 상호 작용하는 맹검 원격 Objective Structured Clinical Examination (OSCE)을 설계하고 실시했습니다. 전문의(32명 중 28명)와 환자 배우(26명 중 24명)의 관점에 해당하는 여러 가지 축에서 AMIE는 PCP보다 우수한 것으로 평가되었으며, 나머지 축에서는 열등하지 않은 것으로 평가되었습니다.
그림 1: **기여도 개요.** AMIE는 진단 대화에 최적화된 대화형 의료 AI입니다. AMIE는 다양한 의료 추론, 질문 답변 및 요약 데이터 세트와 함께 실제 의료 대화 및 시뮬레이션 의료 대화의 조합으로 지시 미세 조정됩니다. 특히, 다양한 의료 상황과 전문 분야에 걸쳐 AMIE의 역량을 확장하기 위해 자동화된 피드백 메커니즘을 갖춘 셀프 플레이 기반의 시뮬레이션 대화 환경을 설계했습니다. 구체적으로, 이러한 반복적인 자기 개선 프로세스는 두 가지 자기 플레이 루프로 구성되었습니다: (1) AMIE가 인공지능 환자 에이전트와의 시뮬레이션 대화에서 자신의 행동을 개선하기 위해 컨텍스트 내 비평가 피드백을 활용하는 "내부" 자기 플레이 루프, (2) 개선된 시뮬레이션 대화 세트가 후속 미세 조정 반복에 통합되는 "외부" 자기 플레이 루프. 온라인 추론 중에 AMIE는 연쇄 추론 전략을 사용하여 현재 대화에 따라 응답을 점진적으로 개선하여 각 대화 턴에서 환자에게 정확하고 근거 있는 답변을 제공했습니다. 우리는 검증된 시뮬레이션 환자 배우가 텍스트 인터페이스를 통해 AMIE 또는 주치의(PCP)와 상호 작용하는 맹검 원격 객관적 구조화 임상 시험(OSCE)을 설계하고 실시했습니다. 전문의(32명 중 28명)와 환자 배우(26명 중 24명)의 관점에 해당하는 여러 가지 축에서 AMIE는 PCP보다 우수한 것으로 평가되었으며, 나머지 축에서는 열등하지 않은 것으로 평가되었습니다.