Figure A.18: Rank-order agreement to specialist ratings of 139 dialogue pairs (excluding cases without multiple specialist ratings) for alternative specialists compared to the self-CoT auto-evaluation technique. Auto-evaluation agreement to the first specialist is comparable to inter-specialist agreement. The black dashed line shows the rank-order agreement one would get with a random ranking of the AMIE and PCP dialogues, while the green dashed line shows the rank-order agreement with a strategy of randomly guessing according to the distribution of specialist preferences for each criteria.
그림 A.18: 대체 전문가에 대한 139개의 대화 쌍(다중 전문가 평가가 없는 경우 제외)의 전문가 평가 순위에 대한 순위 일치도(self-CoT auto-evaluation 기법과 비교). 첫 번째 전문가에 대한 auto-evaluation 일치도는 전문가 간 일치도와 비슷합니다. 검은 점선은 AMIE와 PCP 대화의 임의 순위로 얻을 수 있는 순위 일치도를 나타내며, 녹색 점선은 각 기준에 대한 전문가 선호도 분포에 따라 무작위로 추측하는 전략으로 얻을 수 있는 순위 일치도를 나타냅니다.
그림 A.18: 대체 전문가에 대한 139개의 대화 쌍(다중 전문가 평가가 없는 경우 제외)의 전문가 평가 순위에 대한 순위 일치도(셀프-CoT 자동 평가 기법과 비교). 첫 번째 전문가에 대한 자동 평가 일치도는 전문가 간 일치도와 비슷합니다. 검은 점선은 AMIE와 PCP 대화의 임의 순위로 얻을 수 있는 순위 일치도를 나타내며, 녹색 점선은 각 기준에 대한 전문가 선호도 분포에 따라 무작위로 추측하는 전략으로 얻을 수 있는 순위 일치도를 나타냅니다.