**Auto-evaluation of Conversation Ratings.** We leveraged the model-based self-CoT auto-evaluation strategy to rate conversations on four evaluation axes from the PACES rubric, and validated that these auto-evaluation ratings were accurate and well aligned with the specialist ratings (Figures A.17 and A.18). Furthermore, to demonstrate that the inner self-play loop improved simulated dialogue quality, we applied the auto-evaluation method to the simulated dialogues generated before and after the self-play procedure. Results in Figure A.19 revealed that the simulated dialogues after self-play were preferred more often than the baseline dialogues without self-critique.
**Auto-evaluation of Conversation Ratings.** 모델 기반 self-CoT auto-evaluation 전략을 활용하여 PACES rubric의 네 가지 평가 축에 대한 대화를 평가하고, 이러한 auto-evaluation 등급이 정확하고 전문가 등급과 잘 일치하는지 확인했습니다(그림 A.17 및 A.18). 또한, self-play 루프가 시뮬레이션 대화 품질을 향상시켰다는 것을 입증하기 위해 self-play 절차 전후에 생성된 시뮬레이션 대화에 auto-evaluation 방법을 적용했습니다. 그림 A.19의 결과에 따르면, self-critique이 없는 baseline 대화보다 self-play 후의 시뮬레이션 대화가 더 선호되는 것으로 나타났습니다.
**대화 평가의 자동 평가**. 모델 기반 자체 CoT 자동 평가 전략을 활용하여 PACES 루브릭의 네 가지 평가 축에 대한 대화를 평가하고, 이러한 자동 평가 등급이 정확하고 전문가 등급과 잘 일치하는지 확인했습니다(그림 A.17 및 A.18). 또한, 셀프 플레이 루프가 시뮬레이션 대화 품질을 향상시켰다는 것을 입증하기 위해 셀프 플레이 절차 전후에 생성된 시뮬레이션 대화에 자동 평가 방법을 적용했습니다. 그림 A.19의 결과에 따르면, 자기 비평이 없는 기본 대화보다 자기 플레이 후의 시뮬레이션 대화가 더 선호되는 것으로 나타났습니다.