* The best zero-shot prompt achieves an average Brier score of 0.246, outperforming the others, which score 0.261, 0.276, 0.279, and 0.252, respectively. * For scratchpad, all prompts yield similar Brier scores. We observe that potentially due to safety training, models can sometimes refuse to answer forecasting questions by simply claiming "I don't know". Therefore, we use the number of "refuse to answer" responses as the deciding metric. The winning scratchpad prompt averages 88 "refuse to answer" responses, while the others average 106, 93, and 94, respectively.
* 최고의 zero-shot 프롬프트는 평균 Brier 점수가 0.246으로 다른 프롬프트보다 우수하며, 각각 0.261, 0.276, 0.279, 0.252를 기록합니다. * scratchpad의 경우 모든 프롬프트가 비슷한 Brier 점수를 산출합니다. 안전 교육으로 인해 모델이 예측 질문에 대해 단순히 "모르겠다"고 주장함으로써 답변을 거부하는 경우가 있음을 관찰할 수 있습니다. 따라서 "답변 거부" 응답 횟수를 결정 메트릭으로 사용합니다. 우승 scratchpad 프롬프트는 평균 88개의 "답변 거부" 응답을 기록한 반면, 다른 프롬프트는 각각 평균 106개, 93개, 94개를 기록했습니다.
* 최고의 제로 샷 프롬프트는 평균 브리어 점수가 0.246으로 다른 프롬프트보다 우수하며, 각각 0.261, 0.276, 0.279, 0.252를 기록합니다. * 스크래치패드의 경우 모든 프롬프트가 비슷한 브리어 점수를 산출합니다. 안전 교육으로 인해 모델이 예측 질문에 대해 단순히 "모르겠다"고 주장함으로써 답변을 거부하는 경우가 있음을 관찰할 수 있습니다. 따라서 "답변 거부" 응답 횟수를 결정 메트릭으로 사용합니다. 우승 스크래치패드 프롬프트는 평균 88개의 "답변 거부" 응답을 기록한 반면, 다른 프롬프트는 각각 평균 106개, 93개, 94개를 기록했습니다.