We evaluated the top-k accuracy of the DDx lists generated by AMIE and PCPs across all 149 simulated patients. Top-k accuracy was defined as the percentage of cases where the correct diagnosis appeared within the top-k positions of the DDx list. Specifically, a candidate diagnosis was considered a match if the specialist rater marked it as either an exact match with, very close to or closely related to the ground truth diagnosis (or accepted differential). Statistical significance for DDx accuracy was determined using bootstrap tests [34] with 10,000 samples and false discovery rate (FDR) correction [35] across all k. Statistical significance for patient actor and specialist ratings was determined using Wilcoxon signed-rank tests [36] FDR correction. Cases where either agent received "Cannot rate / Does not apply" were excluded from the test. Results below refer to \(p\)-values after FDR correction.
149명의 시뮬레이션 환자 전체에 대해 AMIE와 PCP가 생성한 DDx 목록의 상위 k accuracy를 평가했습니다. 상위 k accuracy는 DDx 목록의 상위 k 위치 내에 정답 진단이 나타나는 경우의 비율로 정의되었습니다. 특히, 전문가 평가자가 정답 진단과 정확히 일치하거나 매우 근접하거나 근접한 것으로 표시한 경우 후보 진단을 일치하는 것으로 간주했습니다(또는 수락된 차등 진단). DDx accuracy의 통계적 유의성은 10,000개의 샘플과 모든 k에 대한 false discovery rate (FDR) 보정[35]을 사용하여 bootstrap tests[34]를 사용하여 결정했습니다. 환자 액터 및 전문가 평가에 대한 통계적 유의성은 Wilcoxon signed-rank tests[36] FDR 보정을 사용하여 결정되었습니다. 두 에이전트 모두 "평가할 수 없음/적용되지 않음"을 받은 사례는 테스트에서 제외되었습니다. 아래의 결과는 FDR 보정 후의 \(p\)-값을 나타냅니다.
149명의 시뮬레이션 환자 전체에 대해 AMIE와 PCP가 생성한 DDx 목록의 상위 k 정확도를 평가했습니다. 상위 k 정확도는 DDx 목록의 상위 k 위치 내에 정답 진단이 나타나는 경우의 비율로 정의되었습니다. 특히, 전문가 평가자가 정답 진단과 정확히 일치하거나 매우 근접하거나 근접한 것으로 표시한 경우 후보 진단을 일치하는 것으로 간주했습니다(또는 수락된 차등 진단). DDx 정확도의 통계적 유의성은 10,000개의 샘플과 모든 k에 대한 오탐지율(FDR) 보정[35]을 사용하여 부트스트랩 테스트[34]를 사용하여 결정했습니다. 환자 액터 및 전문가 평가에 대한 통계적 유의성은 윌콕슨 부호 순위 테스트[36] FDR 보정을 사용하여 결정되었습니다. 두 에이전트 모두 "평가할 수 없음/적용되지 않음"을 받은 사례는 테스트에서 제외되었습니다. 아래의 결과는 FDR 보정 후의 \(p\)-값을 나타냅니다.