For both zero-shot and scratchpad prompting, we conduct basic prompt optimization by by crafting 5 candidate zero-shot prompts and 4 candidate scratchpad prompts. We evaluate each prompt on the validation set by comparing Brier scores. Specifically, we randomly select 200 questions from the validation set and calculate the mean Brier scores across the 14 LMs under consideration.
제로-shot 및 scratchpad 프롬프트 모두에 대해 5개의 후보 zero-shot 프롬프트와 4개의 후보 scratchpad 프롬프트를 작성하여 기본 프롬프트 최적화를 수행합니다. 특히 유효성 검사 집합에서 200개의 질문을 무작위로 선택하고 고려 중인 14개의 LMs에 걸쳐 평균 Brier scores를 계산하여 각 프롬프트를 유효성 검사 집합에서 비교하여 평가합니다.
제로 샷 및 스크래치 패드 프롬프트 모두에 대해 5개의 후보 제로 샷 프롬프트와 4개의 후보 스크래치 패드 프롬프트를 작성하여 기본 프롬프트 최적화를 수행합니다. 특히 유효성 검사 집합에서 200개의 질문을 무작위로 선택하고 고려 중인 14개의 LM에 걸쳐 평균 브리어 점수를 계산하여 각 프롬프트를 유효성 검사 집합에서 비교하여 평가합니다.