The text-based chat interface used in this study introduces both advantages and disadvantages. People today most commonly engage with LLMs through synchronous text-chat interfaces [74], and patients often use patient portals to send messages to their providers. We therefore chose this mode of interaction as a representative interface for LLMs to perform multi-turn conversation, adapting the virtual OSCE framework accordingly. While this allowed a fair comparison of diagnostic dialogue between LLMs and clinicians when both were restricted to a synchronous text-chat, it is important to acknowledge that our experiments do not emulate the expected quality of diagnostic dialogue in real clinical practice (including telemedicine). Physicians may be more used to history-taking and diagnostic dialogue by telephone or video consultation than synchronous text-chat communication [75, 76]. Instead, text is more commonly used by clinicians to communicate with patients for episodic or asynchronous needs such as prescription refills or communication about specific test results [77]. Physicians may thus be more familiar with text/SMS or email rather than the synchronous text-chat medium we employed in this study. In both text/SMS and email, the conventions and expectations for communicating naturally and with empathic style might be different [78]. It is possible that the PCPs in our study had not yet become accustomed to the setting, and may have performed differently if subjected to a specific training program (similar in spirit to the training process for AMIE). Clinicians participating in the study undertook two preparatory pilot sessions of consultations with our synchronous text interface before the evaluation began, but this was not a formal training program, nor was it designed to optimize clinicians' performance. Future research could explore this question more thoroughly including monitoring for the impact of a learning curve, or exploring whether performance varies according to the extent to which participating clinicians or simulated patients are familiar with telemedicine.
이 연구에서 사용된 텍스트 기반 채팅 인터페이스는 장점과 단점을 모두 가지고 있습니다. 오늘날 사람들은 주로 동기식 텍스트 채팅 인터페이스를 통해 LLMs와 상호작용하며 [74], 환자들은 종종 환자 포털을 사용하여 제공자에게 메시지를 보냅니다. 따라서 우리는 LLMs가 다중 턴 대화를 수행할 수 있는 대표적인 인터페이스로 이 상호작용 방식을 선택하고, 가상 OSCE 프레임워크를 이에 맞게 조정했습니다. 이는 LLMs와 임상의가 동기식 텍스트 채팅에 제한될 때 진단 대화를 공정하게 비교할 수 있게 했지만, 우리의 실험이 실제 임상 실습(원격 의료 포함)에서 기대되는 진단 대화의 질을 모방하지 않는다는 점을 인정하는 것이 중요합니다. 의사들은 동기식 텍스트 채팅 통신보다는 전화나 비디오 상담을 통해 병력 청취 및 진단 대화에 더 익숙할 수 있습니다 [75, 76]. 대신, 텍스트는 처방전 리필이나 특정 검사 결과에 대한 소통과 같은 일시적이거나 비동기적인 필요를 위해 환자와 소통하는 데 더 자주 사용됩니다 [77]. 따라서 의사들은 우리가 이 연구에서 사용한 동기식 텍스트 채팅 매체보다는 텍스트/SMS나 이메일에 더 익숙할 수 있습니다. 텍스트/SMS와 이메일 모두에서 자연스럽고 공감적인 스타일로 소통하는 관습과 기대는 다를 수 있습니다 [78]. 우리 연구의 PCPs가 아직 이 설정에 익숙하지 않았을 가능성이 있으며, 특정 교육 프로그램(AMIE의 교육 과정과 유사한 정신)을 받았다면 다르게 수행했을 수 있습니다. 연구에 참여한 임상의들은 평가가 시작되기 전에 동기식 텍스트 인터페이스로 두 번의 준비 파일럿 상담 세션을 진행했지만, 이는 공식적인 교육 프로그램이 아니었으며 임상의의 성과를 최적화하기 위해 설계된 것도 아니었습니다. 향후 연구에서는 학습 곡선의 영향을 모니터링하거나 참여한 임상의나 시뮬레이션된 환자가 원격 의료에 얼마나 익숙한지에 따라 성과가 달라지는지 여부를 탐구하는 등 이 질문을 더 철저히 탐구할 수 있습니다.
이 연구에 사용된 텍스트 기반 채팅 인터페이스는 장단점을 모두 소개합니다. 오늘날 사람들은 대부분 동기식 텍스트 채팅 인터페이스[74]를 통해 LLM과 교류하며, 환자들은 종종 환자 포털을 통해 의료진에게 메시지를 보냅니다. 따라서 본 연구에서는 이러한 상호 작용 방식을 대표적인 인터페이스로 선택하고 그에 따라 가상 OSCE 프레임워크를 조정하여 다중 턴 대화를 수행할 수 있도록 했습니다. 이를 통해 동시 텍스트 채팅으로 제한되었을 때 LLM과 임상의 간의 진단 대화를 공정하게 비교할 수 있었지만, 실험이 원격 의료를 포함한 실제 임상 진료에서 예상되는 진단 대화의 품질을 모방하지는 않았다는 점을 인정하는 것이 중요합니다. 의사는 동시 텍스트 채팅보다 전화 또는 화상 상담을 통한 병력 청취 및 진단 대화에 더 익숙할 수 있습니다[75, 76]. 대신, 의사는 처방전을 다시 작성하거나 특정 검사 결과에 대한 의사소통과 같은 에피소드적이거나 비동기적인 요구 사항에 대해 환자와 소통할 때 텍스트를 더 일반적으로 사용합니다[77]. 따라서 의사는 본 연구에서 사용한 동시 텍스트 채팅 방식보다는 문자/SMS나 이메일에 더 익숙할 수 있습니다. 문자/SMS와 이메일 모두에서 자연스럽고 공감적인 스타일로 의사소통하기 위한 관습과 기대치가 다를 수 있습니다[78]. 본 연구에 참여한 PCP는 아직 설정에 익숙하지 않았을 수 있으며, 특정 교육 프로그램(AMIE의 교육 과정과 유사)을 받았다면 다르게 수행했을 수 있습니다. 연구에 참여한 임상의는 평가가 시작되기 전에 동기식 텍스트 인터페이스를 통한 상담의 예비 파일럿 세션을 두 번 진행했지만, 이는 공식적인 교육 프로그램이 아니었으며 임상의의 성과를 최적화하기 위해 고안된 것도 아닙니다. 향후 연구에서는 학습 곡선의 영향을 모니터링하거나 참여하는 임상의 또는 시뮬레이션 환자가 원격 의료에 익숙한 정도에 따라 성과가 달라지는지 여부를 탐색하는 등 이 질문을 보다 철저하게 탐구할 수 있습니다.