Using the 298 dialogues produced by AMIE and PCPs in this study, we corroborated the results of the specialist ratings on these 4 criteria using the auto-evaluation procedure. We validated that the auto-evaluation rankings were well aligned with these specialist ratings (see Figures A.17 and A.18). Additionally, we applied it to the simulated dialogues generated via the inner-loop self-play procedure to test whether this iterative process resulted in measurable improvements in dialogue quality (see Figure A.19).
이 연구에서는 AMIE와 PCP가 생성한 298개의 대화를 사용하여 auto-evaluation 절차를 통해 이러한 4가지 기준에 대한 전문가 평가 결과를 검증했습니다. auto-evaluation 순위가 이러한 전문가 평가와 잘 일치하는지 확인했습니다(그림 A.17 및 A.18 참조). 또한, 이 반복 프로세스가 대화 품질의 측정 가능한 개선을 가져오는지 테스트하기 위해 inner-loop self-play 절차를 통해 생성된 시뮬레이션 대화에 적용했습니다(그림 A.19 참조).
이 연구에서는 AMIE와 PCP가 생성한 298개의 대화를 사용하여 자동 평가 절차를 통해 이러한 4가지 기준에 대한 전문가 평가 결과를 검증했습니다. 자동 평가 순위가 이러한 전문가 평가와 잘 일치하는지 확인했습니다(그림 A.17 및 A.18 참조). 또한, 이 반복 프로세스가 대화 품질의 측정 가능한 개선을 가져오는지 테스트하기 위해 내부 루프 셀프 플레이 절차를 통해 생성된 시뮬레이션 대화에 적용했습니다(그림 A.19 참조).