\begin{table}
\begin{tabular}{l c c c c c c c} \hline \hline
**Criteria** & \multicolumn{3}{c}{**Brier Score \(\downarrow\)**} & \multicolumn{3}{c}{**\% Accuracy \(\uparrow\)**} & \multicolumn{2}{c}{**\% Data Retained \(\uparrow\)**} \\ \cline{2-7}  & **Ours** & **Crowd** & **Aggregate** & **Ours** & **Crowd** & **Aggregate** & **Forecasts** & **Questions** \\ \hline
**All Questions** &.179,003 &.149,003 & **.146,002** & 71.5 & 77.0 & **77.8,6** & 100\% & 100\% \\
**Crowd Uncertain** & **.238,004** &.240,003 & **.233,002** & 58.1 & **58.3,3** & **60.2,12** & 51\% & 56\% \\
**Early Retrieval** &.186,003 &.162,004 & **.159,003** & 70.0 & 74.4 & **75.0,8** & 84\% & 100\% \\
**5+ Articles** &.175,003 &.142,003 & **.140,002** & 72.3 & 77.7 & **78.7,7** & 84\% & 94\% \\ \hline
**All Criteria** & **.240,005** &.247,004 & **.237,003** & **58.0,17** & 54.2,17 & **56.6,17** & 22\% & 43\% \\ \hline \hline \end{tabular}
\end{table}
Table 3: **System performance on the test set. “All Questions” shows the Brier score on the full test set. Other rows show selective evaluation when specified criteria are met, averaging over qualifying questions and retrieval dates. “Crowd Uncertain” refers to questions with crowd predictions between 0.3-0.7. “Early Retrieval” refers to the first 3 retrieval dates. “5+ Articles” refers to forecasting when at least 5 relevant articles are retrieved. Finally, “All Criteria” refers to forecasting when the 3 criteria are jointly met. Notably, in every setting the aggregate (average) of our system and crowd prediction is the best. Subscript numbers indicate 1 standard error. We bold entries that outperform the crowd aggregate, and underline the best entry in each category.*** Forecasting requires a holistic consideration of the possibilities (Tetlock and Gardner, 2015). We next prompt the model to leverage the retrieved information and its pre-training knowledge to produce arguments for why the outcome may or may not occur. * The model can potentially generate weak arguments. To avoid treating all considerations as equal, it is instructed to weigh them by importance and aggregate them accordingly into an initial forecast. * Finally, to prevent potential bias and miscalibration, the model is asked to check if it is over- or under-confident and consider historical base rates (Tetlock and Gardner, 2015), prompting it to calibrate and amend the prediction accordingly.
\begin{table}
\begin{tabular}{l c c c c c c c} \hline \hline
**기준** & \multicolumn{3}{c}{**Brier Score \(\downarrow\)**} & \multicolumn{3}{c}{**\% Accuracy \(\uparrow\)**} & \multicolumn{2}{c}{**\% Data Retained \(\uparrow\)**} \\ \cline{2-7} & **Ours** & **Crowd** & **Aggregate** & **Ours** & **Crowd** & **Aggregate** & **Forecasts** & **Questions** \\ \hline
**All Questions** &.179,003 &.149,003 & **.146,002** & 71.5 & 77.0 & **77.8,6** & 100\% & 100\% \\
**Crowd Uncertain** & **.238,004** &.240,003 & **.233,002** & 58.1 & **58.3,3** & **60.2,12** & 51\% & 56\% \\
**Early Retrieval** &.186,003 &.162,004 & **.159,003** & 70.0 & 74.4 & **75.0,8** & 84\% & 100\% \\
**5+ Articles** &.175,003 &.142,003 & **.140,002** & 72.3 & 77.7 & **78.7,7** & 84\% & 94\% \\ \hline
**All Criteria** & **.240,005** &.247,004 & **.237,003** & **58.0,17** & 54.2,17 & **56.6,17** & 22\% & 43\% \\ \hline \hline \end{tabular}
\end{table}
표 3: 테스트 세트에서의 **시스템 성능. "All Questions"는 전체 테스트 세트의 Brier Score를 보여줍니다. 다른 행은 지정된 기준이 충족될 때 선택적 평가를 보여며, 적격 질문 및 retrieval 날짜를 평균화합니다. "Crowd Uncertain"은 크라우드 예측이 0.3-0.7 사이인 질문을 의미합니다. "Early Retrieval"은 처음 3개의 retrieval 날짜를 의미합니다. "5+ Articles"는 적어도 5개의 관련 기사가 retrieval될 때 예측하는 것을 의미합니다. 마지막으로, "All Criteria"는 3가지 기준이 공동으로 충족될 때 예측하는 것을 의미합니다. 모든 설정에서 시스템과 크라우드 예측의 평균(평균)이 가장 우수합니다. 첨자 숫자는 1표준 오차를 나타냅니다. 크라우드의 평균을 능가하는 항목은 굵게 표시하고 각 카테고리에서 가장 우수한 항목은 밑줄을 긋습니다.*** 예측에는 가능성에 대한 전체적인 고려가 필요합니다(Tetlock and Gardner, 2015). 다음으로 모델에 retrieval된 정보와 사전 학습된 지식을 활용하여 결과가 발생할 수 있는 이유와 발생하지 않을 수 있는 이유에 대한 논거를 생성하도록 요청합니다. * 모델은 잠재적으로 약한 논거를 생성할 수 있습니다. 모든 고려 사항을 동등하게 취급하지 않도록 중요도에 따라 가중치를 부여하고 그에 따라 초기 예측으로 집계하도록 지시합니다. * 마지막으로, 잠재적인 편향과 잘못된 캘리브레이션을 방지하기 위해 모델이 과신 또는 과신하지 않는지 확인하고 과거 기준율(Tetlock and Gardner, 2015)을 고려하여 그에 따라 예측을 조정하고 수정하도록 요청합니다.
\begin{table}
\begin{tabular}{l c c c c c c c} \hline \hline
**기준** & \multicolumn{3}{c}{**브리어 점수 \(\downarrow\)**} & \multicolumn{3}{c}{**정확도 \(\uparrow\)**} & \multicolumn{2}{c}{**데이터 유지율 \(\uparrow\)**} \\ \cline{2-7} & **Ours** & **Crowd** & **Aggregate** & **Ours** & **Crowd** & **Aggregate** & **예측** & **질문** \\ \hline
**모든 질문** &.179,003 &.149,003 & **.146,002** & 71.5 & 77.0 & **77.8,6** & 100\% & 100\% \\
**크라우드 불확실** & **.238,004** &.240,003 & **.233,002** & 58.1 & **58.3,3** & **60.2,12** & 51\% & 56\% \\
**조기 검색** &.186,003 &.162,004 & **.159,003** & 70.0 & 74.4 & **75.0,8** & 84\% & 100\% \\
**5개 이상의 기사** &.175,003 &.142,003 & **.140,002** & 72.3 & 77.7 & **78.7,7** & 84\% & 94\% \\ \hline
**모든 기준** & **.240,005** &.247,004 & **.237,003** & **58.0,17** & 54.2,17 & **56.6,17** & 22\% & 43\% \\ \hline \hline \end{tabular}
\end{table}
표 3: 테스트 세트에서의 **시스템 성능. "모든 질문"은 전체 테스트 세트의 브리어 점수를 보여줍니다. 다른 행은 지정된 기준이 충족될 때 선택적 평가를 보여며, 적격 질문 및 검색 날짜를 평균화합니다. "크라우드 불확실"은 크라우드 예측이 0.3-0.7 사이인 질문을 의미합니다. "조기 검색"은 처음 3개의 검색 날짜를 의미합니다. "5개 이상의 기사"는 적어도 5개의 관련 기사가 검색될 때 예측하는 것을 의미합니다. 마지막으로, "모든 기준"은 3가지 기준이 공동으로 충족될 때 예측하는 것을 의미합니다. 모든 설정에서 시스템과 크라우드 예측의 평균(평균)이 가장 우수합니다. 첨자 숫자는 1표준 오차를 나타냅니다. 크라우드의 평균을 능가하는 항목은 굵게 표시하고 각 카테고리에서 가장 우수한 항목은 밑줄을 긋습니다.*** 예측에는 가능성에 대한 전체적인 고려가 필요합니다(Tetlock and Gardner, 2015). 다음으로 모델에 검색된 정보와 사전 학습된 지식을 활용하여 결과가 발생할 수 있는 이유와 발생하지 않을 수 있는 이유에 대한 논거를 생성하도록 요청합니다. * 모델은 잠재적으로 약한 논거를 생성할 수 있습니다. 모든 고려 사항을 동등하게 취급하지 않도록 중요도에 따라 가중치를 부여하고 그에 따라 초기 예측으로 집계하도록 지시합니다. * 마지막으로, 잠재적인 편향과 잘못된 캘리브레이션을 방지하기 위해 모델이 과신 또는 과신하지 않는지 확인하고 과거 기준율(Tetlock and Gardner, 2015)을 고려하여 그에 따라 예측을 조정하고 수정하도록 요청합니다.