**Auto-evaluation Prompting Strategies.** Using the rank-order agreement metric, we ablated the effect of the two-step prompting and compared it to other methods such as the five-shot prompting (i.e. dropping step 1), shuffled five-shot self-CoT prompting where the order of support examples was randomised each time, and 0-shot prompting using only the rating scale explanation itself (see Figure A.17). All methods outperformed the chance level, with the two-step process generally outperforming other methods, though this difference was marginal. Shuffling the examples in the self-CoT prompt made no difference on average.
**자동 평가 프롬프트 전략.** 순위 순열 일치 메트릭을 사용하여 2단계 프롬프트의 효과를 절제하고 5-shot 프롬프트(즉, 1단계 삭제), 지원 예제의 순서가 매번 무작위로 지정된 순열 5-shot self-CoT 프롬프트, 평점 척도 설명만 사용한 0-shot 프롬프트 등 다른 방법과 비교했습니다(그림 A.17 참조). 모든 방법이 우연 수준을 능가했으며, 2단계 프로세스가 일반적으로 다른 방법보다 우수했지만 그 차이는 미미했습니다. self-CoT 프롬프트에서 예제를 섞어도 평균적으로 차이가 없었습니다.
**자동 평가 프롬프트 전략.** 순위 순열 일치 메트릭을 사용하여 2단계 프롬프트의 효과를 절제하고 5회 프롬프트(즉, 1단계 삭제), 지원 예제의 순서가 매번 무작위로 지정된 순열 5회 자체 CoT 프롬프트, 평점 척도 설명만 사용한 0회 프롬프트 등 다른 방법과 비교했습니다(그림 A.17 참조). 모든 방법이 우연 수준을 능가했으며, 2단계 프로세스가 일반적으로 다른 방법보다 우수했지만 그 차이는 미미했습니다. 자체 CoT 프롬프트에서 예제를 섞어도 평균적으로 차이가 없었습니다.