As a baseline, we evaluate all 14 LMs with no additional information retrieval. We use zero-shot prompts and scratchpad prompts (Nye et al., 2021). For each prompting strategy, we craft candidate prompts, pick the best prompt on the validation set, and report its Brier scores on the test set. The results are given in Table 2(b), where we report the best model in each series; see Table 7 for full statistics. The prompt choices appear in Figure 5 and Figure 6 and further details are in Appendix B.
기본선으로, 추가 정보 검색 없이 14개의 LMs을 모두 평가합니다. zero-shot prompts와 scratchpad prompts (Nye et al., 2021)를 사용합니다. 각 prompting 전략에 대해 후보 prompts를 작성하고, 유효성 검사 세트에서 가장 적합한 prompt를 선택한 후, 테스트 세트에서 Brier 점수를 보고합니다. 그 결과는 표 2(b)에 나와 있으며, 각 시리즈에서 가장 좋은 모델을 보고하고 전체 통계는 표 7을 참조하세요. prompt 선택은 그림 5와 그림 6에 나와 있으며 자세한 내용은 부록 B에 나와 있습니다.
기본선으로, 추가 정보 검색 없이 14개의 LM을 모두 평가합니다. 제로 샷 프롬프트와 스크래치패드 프롬프트(Nye et al., 2021)를 사용합니다. 각 프롬프트 전략에 대해 후보 프롬프트를 작성하고, 유효성 검사 세트에서 가장 적합한 프롬프트를 선택한 후, 테스트 세트에서 Brier 점수를 보고합니다. 그 결과는 표 2(b)에 나와 있으며, 각 시리즈에서 가장 좋은 모델을 보고하고 전체 통계는 표 7을 참조하세요. 프롬프트 선택은 그림 5와 그림 6에 나와 있으며 자세한 내용은 부록 B에 나와 있습니다.