We evaluate our optimized system on the test set and find that it comes close to human crowd performance (Section 6.1). Next, we analyze its strengths and weaknesses (Section 6.2). Motivated by the observations, we introduce a relaxed setting, where the system may make forecasts selectively (given its identified strengths), and find that our system surpasses the crowd aggregate (Section 6.3). Finally, we demonstrate how our system can be used to complement aggregated human forecasts (Section 6.4).
테스트 세트에서 최적화된 시스템을 평가한 결과, 사람의 crowd 성능에 근접한 것으로 나타났습니다(섹션 6.1). 다음으로, 그 강점과 약점을 분석합니다(섹션 6.2). 이러한 관찰에 착안하여, 시스템이 식별된 강점을 바탕으로 선택적으로 예측을 할 수 있는 완화된 설정을 도입하고, 우리 시스템이 crowd aggregate를 능가한다는 것을 발견했습니다(섹션 6.3). 마지막으로, 우리 시스템이 어떻게 집계된 인간의 예측을 보완하는 데 사용될 수 있는지 보여줍니다(섹션 6.4).
테스트 세트에서 최적화된 시스템을 평가한 결과, 사람의 크라우드 성능에 근접한 것으로 나타났습니다(섹션 6.1). 다음으로, 그 강점과 약점을 분석합니다(섹션 6.2). 이러한 관찰에 착안하여, 시스템이 식별된 강점을 바탕으로 선택적으로 예측을 할 수 있는 완화된 설정을 도입하고, 우리 시스템이 크라우드 집계치를 능가한다는 것을 발견했습니다(섹션 6.3). 마지막으로, 우리 시스템이 어떻게 집계된 인간의 예측을 보완하는 데 사용될 수 있는지 보여줍니다(섹션 6.4).