Figure 4: **System strengths. Evaluating on the validation set, we note: (a) When provided enough relevant articles, our system outperforms the crowd. (b) For questions where the crowd is unsure (predictions between \(.3\) and \(.7\)), we outperform them (Brier score \(.199\) vs. \(.246\)). However, the crowd outperforms our system on questions where they are highly confident, e.g. predicting less than \(.05\). (c) Our system’s Brier score is better at the earlier retrieval dates.
그림 4: **System strengths. 유효성 검사 세트를 평가한 결과 다음과 같은 사실을 확인했습니다: (a) 관련 기사가 충분히 제공되면 우리 시스템이 군중을 능가합니다. (b) 군중이 확신이 서는 질문(예: .3\)에서 .7\) 사이)의 경우, 우리가 군중을 능가합니다(Brier score .199 대 .246). 그러나 군중은 자신감이 높은 질문, 예: .05 미만 예측에서 우리 시스템을 능가합니다. (c) 우리 시스템의 Brier score는 더 이른 검색 날짜에 더 좋습니다.
그림 4: **시스템 강점. 유효성 검사 세트를 평가한 결과 다음과 같은 사실을 확인했습니다: (a) 관련 기사가 충분히 제공되면 우리 시스템이 군중을 능가합니다. (b) 군중이 확신이 서는 질문(예: .3\)에서 .7\) 사이)의 경우, 우리가 군중을 능가합니다(브리어 점수 .199 대 .246). 그러나 군중은 자신감이 높은 질문, 예: .05 미만 예측에서 우리 시스템을 능가합니다. (c) 우리 시스템의 브리어 점수는 더 이른 검색 날짜에 더 좋습니다.