Our optimized system approaches the performance of aggregated human forecasts over the test set, as measured by Brier score, a standard metric in forecasting. To our knowledge, this is the first automated system with forecasting capability that nears the human crowd level, which is generally stronger than individual human forecasters (Section 3.1). We also consider a selective setting where our system uses heuristics, based on the LM's strengths, to decide whether to submit a forecast for a given question and date. In this setting, our system outperforms the human crowd.
우리의 최적화된 시스템은 예측의 표준 지표인 Brier score로 측정한 테스트 세트에 대한 집계된 인간 예측의 성능에 근접합니다. 우리가 아는 한, 이것은 일반적으로 개인 예측가보다 더 강력한 인간 군중 수준에 근접하는 예측 기능을 갖춘 최초의 자동화된 시스템입니다(섹션 3.1). 또한, 우리 시스템이 LM의 강점을 바탕으로 주어진 질문과 날짜에 대한 예측을 제출할지 여부를 결정하기 위해 heuristics을 사용하는 선택적 설정을 고려합니다. 이 설정에서 우리 시스템은 인간 군중을 능가합니다.
우리의 최적화된 시스템은 예측의 표준 지표인 브라이어 점수로 측정한 테스트 세트에 대한 집계된 인간 예측의 성능에 근접합니다. 우리가 아는 한, 이것은 일반적으로 개인 예측가보다 더 강력한 인간 군중 수준에 근접하는 예측 기능을 갖춘 최초의 자동화된 시스템입니다(섹션 3.1). 또한, 우리 시스템이 LM의 강점을 바탕으로 주어진 질문과 날짜에 대한 예측을 제출할지 여부를 결정하기 위해 휴리스틱을 사용하는 선택적 설정을 고려합니다. 이 설정에서 우리 시스템은 인간 군중을 능가합니다.