1. _Forecasting only on questions when the crowd prediction falls between \(.3\) and \(.7\)_. Here, our system attains a Brier score of \(.238\) (crowd aggregate: \(.240\)). This comprises 51% of forecasts and 56% of questions. 2. _Forecasting only on earlier retrieval dates (1, 2, and 3)_. Our system's Brier score in this setting is \(.185\) (crowd aggregate: \(.161\)). This comprises 66% of forecasts and 100% of questions. 3. _Forecasting only when the retrieval system provides at least \(5\) relevant articles._ Under this condition, our system's Brier score is \(.175\) (crowd aggregate: \(.143\)). This makes up 84% of forecasts and 94% of questions. 4. Under all three conditions, our system attains Brier score \(.240\) (crowd aggregate: \(.247\)). This comprises 22% of forecasts and 43% of questions.
1. _크라우드 예측이 \(.3\)에서 \(.7\) 사이에 있을 때만 질문에 대한 예측_. 이 경우, 우리 시스템의 Brier score는 \(.238)(크라우드 집계: \(.240\))입니다. 이는 예측의 51%와 질문의 56%를 차지합니다. 2. _더 이른 retrieval 날짜(1, 2, 3)에만 예측하기_. 이 설정에서 우리 시스템의 Brier score는 \(.185)(크라우드 집계: \(.161\))입니다. 이는 예측의 66%와 질문의 100%를 차지합니다. 3. _retrieval 시스템이 최소 \(5\)개의 관련 문서를 제공할 때만 예측_. 이 조건에서 우리 시스템의 Brier score는 \(.175)(크라우드 집계: \(.143\))입니다. 이는 예측의 84%와 질문의 94%를 차지합니다. 4. 세 가지 조건 모두에서 우리 시스템은 Brier score \(.240)(크라우드 집계: \(.247\))을 달성합니다. 이는 예측의 22%와 질문의 43%를 차지합니다.
1. _크라우드 예측이 \(.3\)에서 \(.7\) 사이에 있을 때만 질문에 대한 예측_. 이 경우, 우리 시스템의 브리어 점수는 \(.238)(크라우드 집계: \(.240\))입니다. 이는 예측의 51%와 질문의 56%를 차지합니다. 2. _더 이른 검색 날짜(1, 2, 3)에만 예측하기_. 이 설정에서 우리 시스템의 브리어 점수는 \(.185)(크라우드 집계: \(.161\))입니다. 이는 예측의 66%와 질문의 100%를 차지합니다. 3. _검색 시스템이 최소 \(5\)개의 관련 문서를 제공할 때만 예측_. 이 조건에서 우리 시스템의 브리어 점수는 \(.175)(크라우드 집계: \(.143\))입니다. 이는 예측의 84%와 질문의 94%를 차지합니다. 4. 세 가지 조건 모두에서 우리 시스템은 브리어 점수 \(.240)(크라우드 집계: \(.247\))을 달성합니다. 이는 예측의 22%와 질문의 43%를 차지합니다.