Finally, a pool of 23 specialist physicians from India (14), North America (6), and the UK (3) evaluated PCPs and AMIE with respect to the quality of their consultation, and their responses to the post-questionnaire. During evaluation, specialist physicians also had access to the full scenario pack along with its associated ground truth differential and additional accepted differentials. All of the data the specialist physicians had access to during evaluation are collectively referred to as "OSCE data" below. Specialist physicians were sourced to match the specialties and geographic regions corresponding to the scenario packs included in our study, and had between 1 and 36 years of post-residency experience (median 5 years). Each set of OSCE data was evaluated by one specialist physician randomly assigned to match the specialty and geographic region of the underlying scenario (e.g., Canadian pulmonologist evaluated OSCE data from Canada-sourced respiratory medicine scenario). Each specialist evaluated OSCE data from both PCP and AMIE for a given scenario. Evaluations for PCP and AMIE were conducted by the same specialist in a randomized and blinded sequence. Evaluation criteria included the accuracy, appropriateness and comprehensiveness of the provided DDx list, appropriateness of recommendations regarding escalation, investigation, treatment, management plan and follow-up (Table A.4), and all PACES (Table A.2) and PCCBP (Table A.3) rating items. We also asked specialist physicians to highlight confabulations in the consultations and questionnaire responses, i.e., text passages that were non-factual or referred to information not provided in the conversation. Each OSCE scenario pack additionally supplied specialists with scenario-specific clinical information to assist with rating the clinical quality of the consultation, such as the ideal investigation or management plans; or important aspects of the clinical history that would ideally have been elucidated for the highest quality of consultation possible.
마지막으로, 인도(14명), 북미(6명), 영국(3명)에서 온 23명의 전문의들이 상담의 질과 사후 설문지에 대한 응답을 기준으로 PCP와 AMIE를 평가했습니다. 평가 동안, 전문의들은 전체 시나리오 팩과 관련된 실제 진단 및 추가로 인정된 진단에 접근할 수 있었습니다. 평가 중 전문의들이 접근할 수 있었던 모든 데이터는 아래에서 "OSCE 데이터"로 통칭됩니다. 전문의들은 연구에 포함된 시나리오 팩에 해당하는 전문 분야와 지리적 지역에 맞추어 선정되었으며, 레지던시 이후 1년에서 36년(중앙값 5년)의 경력을 가지고 있었습니다. 각 OSCE 데이터 세트는 해당 시나리오의 전문 분야와 지리적 지역에 맞추어 무작위로 배정된 한 명의 전문의에 의해 평가되었습니다(예: 캐나다의 호흡기 전문의가 캐나다에서 수집된 호흡기 의학 시나리오의 OSCE 데이터를 평가). 각 전문의는 주어진 시나리오에 대해 PCP와 AMIE의 OSCE 데이터를 모두 평가했습니다. PCP와 AMIE에 대한 평가는 동일한 전문의에 의해 무작위로 블라인드 방식으로 진행되었습니다. 평가 기준에는 제공된 DDx 목록의 정확성, 적절성 및 포괄성, 에스컬레이션, 조사, 치료, 관리 계획 및 추적에 대한 권장 사항의 적절성(Table A.4), 그리고 모든 PACES(Table A.2) 및 PCCBP(Table A.3) 평가 항목이 포함되었습니다. 또한, 전문의들에게 상담 및 설문지 응답에서 사실이 아니거나 대화에서 제공되지 않은 정보를 언급한 텍스트 부분을 강조하도록 요청했습니다. 각 OSCE 시나리오 팩은 이상적인 조사 또는 관리 계획과 같은 상담의 임상적 질을 평가하는 데 도움이 되는 시나리오별 임상 정보를 추가로 제공했습니다.
마지막으로 인도(14명), 북미(6명), 영국(3명) 출신의 전문의 23명이 상담의 질과 사후 설문지에 대한 응답과 관련하여 PCP와 AMIE를 평가했습니다. 평가하는 동안 전문의들은 전체 시나리오 팩과 관련된 지상 진위 차등 및 추가 허용 차등에 액세스할 수 있었습니다. 전문의가 평가하는 동안 액세스한 모든 데이터는 아래에서 "OSCE 데이터"로 통칭합니다. 전문의는 연구에 포함된 시나리오 팩에 해당하는 전문 분야와 지역에 맞게 소싱되었으며, 레지던트 이후 경력은 1년에서 36년(중간 5년) 사이였습니다. 각 OSCE 데이터 세트는 기본 시나리오의 전문 분야 및 지역과 일치하도록 무작위로 배정된 한 명의 전문의가 평가했습니다(예: 캐나다 호흡기내과 전문의가 캐나다에서 소싱한 호흡기내과 시나리오의 OSCE 데이터를 평가). 각 전문의는 주어진 시나리오에 대해 PCP와 AMIE 모두의 OSCE 데이터를 평가했습니다. PCP와 AMIE에 대한 평가는 동일한 전문의가 무작위로 맹검 순서로 수행했습니다. 평가 기준에는 제공된 DDx 목록의 정확성, 적절성 및 포괄성, 확대, 조사, 치료, 관리 계획 및 후속 조치에 관한 권장 사항의 적절성(표 A.4), 모든 PACES(표 A.2) 및 PCCBP(표 A.3) 등급 항목이 포함되었습니다. 또한 전문의에게 상담 및 설문지 응답에서 허구, 즉 대화에서 제공되지 않은 정보를 언급하거나 사실이 아닌 텍스트 구절을 강조하도록 요청했습니다. 각 OSCE 시나리오 팩은 전문의에게 이상적인 조사 또는 관리 계획과 같이 상담의 임상 품질을 평가하는 데 도움이 되는 시나리오별 임상 정보를 제공했습니다. 또는 최고 품질의 상담을 위해 이상적으로 밝혀졌어야 하는 임상 기록의 중요한 측면을 제공했습니다.