To increase the chance of attaining a prediction that outperforms the crowd, we generate 4 candidate outputs per input (8 total per question) by trying different scratchpad prompts. The first uses the optimal prompt found in Section 5.2 (Figure 15). We then sample 3 other scratchpad prompts, with probability inversely proportional to their Brier score on the validation set. We prompt both Claude-2.1 and GPT-4-Preview, since we find that Claude-2.1 is better on some questions. In total, this gives 16 candidate forecasts per question.
크라우드를 능가하는 예측을 달성할 확률을 높이기 위해 다양한 scratchpad prompts를 시도하여 입력당 4개의 후보 출력(질문당 총 8개)을 생성합니다. 첫 번째는 섹션 5.2(그림 15)에서 찾은 최적의 prompt를 사용합니다. 그런 다음 유효성 검사 세트에서 Brier score에 반비례하여 3개의 다른 scratchpad prompts를 샘플링합니다. 일부 질문에서 Claude-2.1이 더 나은 것으로 나타났기 때문에 Claude-2.1과 GPT-4-Preview 모두에 prompt를 제공합니다. 이렇게 하면 질문당 총 16개의 후보 예측이 생성됩니다.
크라우드를 능가하는 예측을 달성할 확률을 높이기 위해 다양한 스크래치패드 프롬프트를 시도하여 입력당 4개의 후보 출력(질문당 총 8개)을 생성합니다. 첫 번째는 섹션 5.2(그림 15)에서 찾은 최적의 프롬프트를 사용합니다. 그런 다음 유효성 검사 세트에서 브리어 점수에 반비례하여 3개의 다른 스크래치패드 프롬프트를 샘플링합니다. 일부 질문에서 Claude-2.1이 더 나은 것으로 나타났기 때문에 Claude-2.1과 GPT-4-Preview 모두에 프롬프트를 제공합니다. 이렇게 하면 질문당 총 16개의 후보 예측이 생성됩니다.