In addition to human evaluations, we implemented model-based auto-evaluation methods as economical consistent alternatives to specialist assessments. These techniques were employed to evaluate both dialogue quality and diagnostic accuracy of the OSCE agent. To establish the validity of our auto-evaluation methods for assessing dialogue quality, we initially focused on a subset of four evaluation axes from the PACES rubric(Table A.2) that were assessed by both the patient actors and the specialist physicians. The auto-evaluation, which uses a self-CoT strategy (details described in Section A.9) with AMIE to rate dialogues, was in good alignment with human raters and comparable to the inter-specialist agreement on these criteria. For the auto-evaluation of differential diagnoses, we leveraged another LLM, Med-PaLM 2 [13] as a surrogate for a specialist rater to grade the predicted diagnoses against the ground truth diagnoses (more details in Section A.7). Our auto-evaluation on DDx accuracy showed a similar trend for AMIE and OSCE agents compared to the specialist ratings. Overall, auto-evaluation trends aligned with human ratings for both dialogue quality and diagnostic accuracy.
인간 평가 외에도 경제적으로 일관된 전문가 평가의 대안으로 모델 기반 auto-evaluation 방법을 구현했습니다. 이러한 기법은 OSCE agent의 대화 품질과 진단 정확도를 평가하는 데 사용되었습니다. 대화 품질을 평가하기 위한 auto-evaluation 방법의 타당성을 입증하기 위해 먼저 환자 배우자와 전문의가 모두 평가한 PACES rubric(표 A.2)의 4가지 평가 축 하위 집합에 초점을 맞추었습니다. self-CoT 전략(세부 사항은 섹션 A.9에서 설명)을 사용하여 대화를 평가하는 auto-evaluation은 인간 평가자와 잘 일치했으며, 이러한 기준에 대한 전문가 간의 일치도와 비슷했습니다. differential diagnoses의 auto-evaluation을 위해, 우리는 또 다른 LLM인 Med-PaLM 2 [13]를 전문가 평가자의 대리자로 활용하여 예측된 진단을 실측 진단과 비교하여 평가했습니다(자세한 내용은 섹션 A.7 참조). DDx 정확도에 대한 auto-evaluation 결과, 전문가 평가와 비교했을 때 AMIE와 OSCE agent의 추세가 비슷했습니다. 전반적으로 대화 품질과 진단 정확도 모두에서 auto-evaluation 추세가 인간 평가와 일치했습니다.
인간 평가 외에도 경제적으로 일관된 전문가 평가의 대안으로 모델 기반 자동 평가 방법을 구현했습니다. 이러한 기법은 OSCE 에이전트의 대화 품질과 진단 정확도를 평가하는 데 사용되었습니다. 대화 품질을 평가하기 위한 자동 평가 방법의 타당성을 입증하기 위해 먼저 환자 배우자와 전문의가 모두 평가한 PACES 루브릭(표 A.2)의 4가지 평가 축 하위 집합에 초점을 맞추었습니다. 자기 CoT 전략(세부 사항은 섹션 A.9에서 설명)을 사용하여 대화를 평가하는 자동 평가는 인간 평가자와 잘 일치했으며, 이러한 기준에 대한 전문가 간의 일치도와 비슷했습니다. 감별 진단의 자동 평가를 위해, 우리는 또 다른 LLM인 Med-PaLM 2 [13]를 전문가 평가자의 대리자로 활용하여 예측된 진단을 실측 진단과 비교하여 평가했습니다(자세한 내용은 섹션 A.7 참조). DDx 정확도에 대한 자동 평가 결과, 전문가 평가와 비교했을 때 AMIE와 OSCE 에이전트의 추세가 비슷했습니다. 전반적으로 대화 품질과 진단 정확도 모두에서 자동 평가 추세가 인간 평가와 일치했습니다.