**Fairness and Bias.** The evaluation protocol presented in this paper is limited in terms of its ability to capture potential issues related to fairness and bias, which remains an important open question that we will aim to address in subsequent system evaluations. Recent advances in the development of comprehensive frameworks for bias detection in large language models [94, 95] present a promising starting point for establishing such an approach. It should be noted that medical diagnostic dialogue is a particularly challenging use case, due to the complexity of the medical domain, the interactive information gathering nature of the dialogue, and the outcome-driven setting, with the potential of associated harms in case of incorrect diagnosis or incorrect medical advice. Nevertheless, disentangling these issues is an important further research area if LLMs in the domain are to overcome rather than propagate inequities in healthcare. For example, previous studies have found that physicians approach communication with their patients differently, on average, depending on patients' race, resulting in Black patients receiving communication that was less patient-centered, and with a lower positive affect [96]. Other studies have found differences in physicians' communication styles and conversation length based on gender [97]. Effective intercultural communication skills are essential [91]. There is therefore a non-negligible risk that such historical conversational biases may be replicated or amplified in an AI dialogue system, but at the same time there is also an opportunity to work towards designing conversational systems that can be more inclusive, and more personalized to the individual patient's needs.
**Fairness and Bias.** 이 백서에 제시된 평가 프로토콜은 공정성 및 편향성과 관련된 잠재적 문제를 포착하는 능력이 제한적이며, 이는 후속 시스템 평가에서 해결하고자 하는 중요한 미해결 과제로 남아 있습니다. 최근 대규모 언어 모델의 bias 탐지에 대한 포괄적인 프레임워크의 발전[94, 95]은 이러한 접근 방식을 확립하기 위한 유망한 출발점이 될 수 있습니다. 의료 진단 dialogue는 의료 영역의 복잡성, 대화의 상호 작용적 정보 수집 특성, 결과 중심적인 환경으로 인해 특히 까다로운 사용 사례이며, 잘못된 진단이나 잘못된 의학적 조언의 경우 관련 피해가 발생할 수 있다는 점에 유의해야 합니다. 그럼에도 불구하고 이러한 문제를 분리하는 것은 의료 분야의 LLM이 의료 서비스의 불평등을 확산시키지 않고 극복하기 위해 중요한 추가 연구 분야입니다. 예를 들어, 이전 연구에 따르면 의사는 환자의 인종에 따라 평균적으로 환자와의 의사소통에 다르게 접근하여 흑인 환자는 환자 중심적이고 긍정적인 영향이 낮은 의사소통을 받는 것으로 나타났습니다[96]. 다른 연구에서는 성별에 따라 의사의 의사소통 스타일과 대화 시간에 차이가 있는 것으로 나타났습니다[97]. 효과적인 문화 간 의사소통 기술은 필수적입니다[91]. 따라서 이러한 역사적 대화 편견이 AI dialogue 시스템에서 복제되거나 증폭될 위험은 무시할 수 없지만, 동시에 보다 포용적이고 개별 환자의 필요에 맞는 대화 시스템을 설계하기 위한 노력을 기울일 수 있는 기회이기도 합니다.
**공정성 및 편향성.** 이 백서에 제시된 평가 프로토콜은 공정성 및 편향성과 관련된 잠재적 문제를 포착하는 능력이 제한적이며, 이는 후속 시스템 평가에서 해결하고자 하는 중요한 미해결 과제로 남아 있습니다. 최근 대규모 언어 모델의 편향성 탐지에 대한 포괄적인 프레임워크의 발전[94, 95]은 이러한 접근 방식을 확립하기 위한 유망한 출발점이 될 수 있습니다. 의료 진단 대화는 의료 영역의 복잡성, 대화의 상호 작용적 정보 수집 특성, 결과 중심적인 환경으로 인해 특히 까다로운 사용 사례이며, 잘못된 진단이나 잘못된 의학적 조언의 경우 관련 피해가 발생할 수 있다는 점에 유의해야 합니다. 그럼에도 불구하고 이러한 문제를 분리하는 것은 의료 분야의 LLM이 의료 서비스의 불평등을 확산시키지 않고 극복하기 위해 중요한 추가 연구 분야입니다. 예를 들어, 이전 연구에 따르면 의사는 환자의 인종에 따라 평균적으로 환자와의 의사소통에 다르게 접근하여 흑인 환자는 환자 중심적이고 긍정적인 영향이 낮은 의사소통을 받는 것으로 나타났습니다[96]. 다른 연구에서는 성별에 따라 의사의 의사소통 스타일과 대화 시간에 차이가 있는 것으로 나타났습니다[97]. 효과적인 문화 간 의사소통 기술은 필수적입니다[91]. 따라서 이러한 역사적 대화 편견이 AI 대화 시스템에서 복제되거나 증폭될 위험은 무시할 수 없지만, 동시에 보다 포용적이고 개별 환자의 필요에 맞는 대화 시스템을 설계하기 위한 노력을 기울일 수 있는 기회이기도 합니다.