We first report Cohen's \(\kappa\), which is commonly used to measure inter-rater agreement for _categorical_ items. When calculating this, we treat the 4-level rating (A-D) as a categorical variable, leading to a \(\kappa\) of 0.58, which is a moderate agreement according to common practice.13 Furthermore, we also calculate the agreement of our evaluators on classifying acceptable responses ((A or B) vs. (C or D)), with a final \(\kappa\) of 0.75, indicating substantial agreement.
먼저, _범주형_ 항목에 대한 평가자 간 일치도를 측정하는 데 일반적으로 사용되는 Cohen's \(\kappa\)를 보고합니다. 이를 계산할 때 4단계 등급(A-D)을 범주형 변수로 취급하여 일반적인 관행에 따라 중간 정도의 일치도인 0.58의 \(\kappa\)를 산출합니다.13 또한 허용 가능한 응답을 분류하는 평가자의 일치도((A 또는 B) 대 (C 또는 D))도 계산하여 최종 \(\kappa\)는 0.75로 상당한 일치도를 나타냅니다.
먼저, _범주형_ 항목에 대한 평가자 간 일치도를 측정하는 데 일반적으로 사용되는 코헨의 \(\카파\)를 보고합니다. 이를 계산할 때 4단계 등급(A-D)을 범주형 변수로 취급하여 일반적인 관행에 따라 중간 정도의 일치도인 0.58의 \(\카파\)를 산출합니다.13 또한 허용 가능한 응답을 분류하는 평가자의 일치도((A 또는 B) 대 (C 또는 D))도 계산하여 최종 \(\kappa\)는 0.75로 상당한 일치도를 나타냅니다.