**Annotation Details.** Three researchers manually inspected 100 instances randomly sampled from training data. To ensure the quality and consistency of the annotation process, one researcher designed the annotation instruction describing the definition of each aspect (see Table 1) as well as 4 demonstration examples for each aspect category. Figure 3 displays demonstration examples for logicality. These examples are chosen randomly from the remaining training set, which was not included in the initial set of 100 annotation samples, and are manually annotated based on aspect descriptions. Upon the completion of annotation, we gauged the inter-rater agreement rates to validate the reliability of submitted annotation results by computing the average Fleiss' Kappa coefficient (Fleiss, 1971). The mean Kappa score among the three annotators across all aspect categories was 0.56, indicating a moderate agreement rate. Ultimately, we take the mode of annotated labels submitted by three annotators and consider it as a ground truth.
**Annotation Details.** 세 명의 연구자가 학습 데이터에서 무작위로 샘플링한 100개의 인스턴스를 수동으로 검사했습니다. 주석 프로세스의 품질과 일관성을 보장하기 위해 한 연구자가 각 측면의 정의를 설명하는 annotation instruction(표 1 참조)과 각 측면 카테고리에 대한 4개의 데모 예제를 설계했습니다. 그림 3은 논리성에 대한 데모 예제를 보여줍니다. 이 예제는 처음 100개의 주석 샘플 세트에 포함되지 않은 나머지 학습 세트에서 무작위로 선택되며, 측면 설명에 따라 수동으로 주석이 지정됩니다. 주석이 완료되면 평균 Fleiss' Kappa 계수(Fleiss, 1971)를 계산하여 제출된 주석 결과의 신뢰성을 검증하기 위해 3명의 주석자 간의 일치율을 측정했습니다. 모든 측면 범주에 대한 세 명의 주석자 간의 평균 Kappa 점수는 0.56으로, 중간 정도의 일치율을 나타냅니다. 궁극적으로 세 명의 주석자가 제출한 주석 레이블의 모드를 기준으로 실측값으로 간주합니다.
**주석 세부 사항**. 세 명의 연구자가 학습 데이터에서 무작위로 샘플링한 100개의 인스턴스를 수동으로 검사했습니다. 주석 프로세스의 품질과 일관성을 보장하기 위해 한 연구자가 각 측면의 정의를 설명하는 주석 지침(표 1 참조)과 각 측면 카테고리에 대한 4개의 데모 예제를 설계했습니다. 그림 3은 논리성에 대한 데모 예제를 보여줍니다. 이 예제는 처음 100개의 주석 샘플 세트에 포함되지 않은 나머지 학습 세트에서 무작위로 선택되며, 측면 설명에 따라 수동으로 주석이 지정됩니다. 주석이 완료되면 평균 플라이스 카파 계수(Fleiss, 1971)를 계산하여 제출된 주석 결과의 신뢰성을 검증하기 위해 3명의 주석자 간의 일치율을 측정했습니다. 모든 측면 범주에 대한 세 명의 주석자 간의 평균 카파 점수는 0.56으로, 중간 정도의 일치율을 나타냅니다. 궁극적으로 세 명의 주석자가 제출한 주석 레이블의 모드를 기준으로 실측값으로 간주합니다.