**Benchmarking Auto-evaluation.** While auto-evaluation was significantly better than random guessing at aligning with specialist preferences, it was unclear if the resulting performance was sufficient. To test this, we had 139 dialogue pairs each rated by a second specialist, and we computed the rank-order agreement of the two specialists on this subset (see figure A.18). We observed that auto-evaluation was about as accurate as the alternative specialists in predicting the first specialist's rank-order, suggesting that it is useful to leverage auto-evaluation for these criteria.
**Benchmarking Auto-evaluation**. Auto-evaluation은 전문가의 선호도에 맞추는 데 무작위로 추측하는 것보다 훨씬 낫지만, 그 결과 성능이 충분한지 여부는 명확하지 않았습니다. 이를 테스트하기 위해 두 번째 전문가가 각각 139개의 대화 쌍을 평가하도록 했고, 이 하위 집합에 대해 두 전문가의 순위 일치도를 계산했습니다(그림 A.18 참조). Auto-evaluation은 첫 번째 전문가의 순위를 예측하는 데 다른 전문가만큼 정확하다는 것을 관찰하여 이러한 기준에 auto-evaluation을 활용하는 것이 유용하다는 것을 알 수 있었습니다.
**벤치마킹 자동 평가**. 자동 평가는 전문가의 선호도에 맞추는 데 무작위로 추측하는 것보다 훨씬 낫지만, 그 결과 성능이 충분한지 여부는 명확하지 않았습니다. 이를 테스트하기 위해 두 번째 전문가가 각각 139개의 대화 쌍을 평가하도록 했고, 이 하위 집합에 대해 두 전문가의 순위 일치도를 계산했습니다(그림 A.18 참조). 자동 평가는 첫 번째 전문가의 순위를 예측하는 데 다른 전문가만큼 정확하다는 것을 관찰하여 이러한 기준에 자동 평가를 활용하는 것이 유용하다는 것을 알 수 있었습니다.