**Rank-order Agreement.** We evaluated our auto-evaluation method by quantifying its agreement with the specialist rankings of the OSCE dialogues. We limited our analysis to the 149 dialogue pairs in the study. Thus, each pair consisted of a AMIE conversation and a PCP conversation with the same patient actor, and rated by the same specialist. For a pair of two dialogues, the three possibilities were: the first one was rated better than the second one, they were equally rated, or the first one was rated worse than the second one. We defined the rank-order agreement as the proportion of dialogue pairs for which the specialist ranking was preserved by the auto-evaluation ratings. For example, we counted it as correct when our auto-evaluation rated AMIE's dialogue as better than the PCP's dialogue if specialists also rated AMIE's dialogue as better, regardless of the exact scores each method assigned.
**Rank-order Agreement.** 우리는 OSCE 대화의 전문가 순위와의 일치성을 정량화하여 auto-evaluation 방법을 평가했습니다. 분석은 연구에 포함된 149쌍의 대화에 국한했습니다. 따라서 각 쌍은 동일한 환자 행위자가 있는 AMIE 대화와 PCP 대화로 구성되었으며, 동일한 전문가가 평가했습니다. 두 대화 쌍의 경우 첫 번째 대화가 두 번째 대화보다 더 높은 평가를 받았거나, 동일한 평가를 받았거나, 첫 번째 대화가 두 번째 대화보다 더 낮은 평가를 받았거나, 세 가지 가능성이 있었습니다. 순위 일치도는 전문가 순위가 auto-evaluation 등급에 의해 유지된 대화 쌍의 비율로 정의했습니다. 예를 들어, 전문가가 AMIE의 대화를 더 좋다고 평가한 경우, 각 방법이 부여한 정확한 점수에 관계없이 auto-evaluation이 AMIE의 대화를 PCP의 대화보다 더 좋다고 평가하면 이를 정답으로 계산했습니다.
**순위 일치성.** 우리는 OSCE 대화의 전문가 순위와의 일치성을 정량화하여 자동 평가 방법을 평가했습니다. 분석은 연구에 포함된 149쌍의 대화에 국한했습니다. 따라서 각 쌍은 동일한 환자 행위자가 있는 AMIE 대화와 PCP 대화로 구성되었으며, 동일한 전문가가 평가했습니다. 두 대화 쌍의 경우 첫 번째 대화가 두 번째 대화보다 더 높은 평가를 받았거나, 동일한 평가를 받았거나, 첫 번째 대화가 두 번째 대화보다 더 낮은 평가를 받았거나, 세 가지 가능성이 있었습니다. 순위 일치도는 전문가 순위가 자동 평가 등급에 의해 유지된 대화 쌍의 비율로 정의했습니다. 예를 들어, 전문가가 AMIE의 대화를 더 좋다고 평가한 경우, 각 방법이 부여한 정확한 점수에 관계없이 자동 평가가 AMIE의 대화를 PCP의 대화보다 더 좋다고 평가하면 이를 정답으로 계산했습니다.