In order to accurately emulate the ratings of specialists on the clinical criteria in our OSCE evaluation framework, we developed a model-based auto-evaluation procedure leveraging the AMIE model to score dialogues from 1 to 5 based on how well they exemplified those qualitative criteria. We initially focused on a subset of four clinical axes from the PACES criteria (see Table A.2), however, this procedure can be easily extended to other ratings.
우리의 OSCE 평가 프레임워크에서 임상 기준에 대한 전문가의 평가를 정확하게 모방하기 위해, 우리는 AMIE 모델을 활용하여 대화를 1에서 5까지 점수화하는 모델 기반 자동 평가 절차를 개발했습니다. 처음에는 PACES 기준의 네 가지 임상 축에 집중했지만(표 A.2 참조), 이 절차는 다른 평가로 쉽게 확장될 수 있습니다.
OSCE 평가 프레임워크의 임상 기준에 대한 전문가의 평가를 정확하게 에뮬레이션하기 위해 AMIE 모델을 활용하여 대화가 이러한 정성적 기준을 얼마나 잘 보여주었는지에 따라 1~5점까지 점수를 부여하는 모델 기반 자동 평가 절차를 개발했습니다. 처음에는 PACES 기준의 4가지 임상 축 하위 집합(표 A.2 참조)에 초점을 맞추었지만, 이 절차는 다른 평가에도 쉽게 확장할 수 있습니다.