In prior work, Zou et al. (2022) evaluated their system on the forecasting dataset Autocast, which consists of questions from 3 of the platforms we use: Metaculus, INFER, and GJOpen. They achieved an accuracy of 65.4% compared to a community baseline of 92.8%. Yan et al. (2024) later improved this to 67.9%. Our results (Table 4) underscore the significant progress we make in automated forecasting--specifically, we achieve a better accuracy (71.5%) even though the questions we consider are harder (with a significantly lower crowd accuracy: 77.0%).
이전 연구에서 Zou 등(2022)은 우리가 사용하는 플랫폼 중 3개 플랫폼의 질문으로 구성된 예측 데이터 세트 Autocast에서 시스템을 평가했습니다: Metaculus, INFER, GJOpen. 이들은 커뮤니티 baseline인 92.8%에 비해 65.4%의 정확도를 달성했습니다. 이후 Yan 등(2024)은 이를 67.9%로 개선했습니다. 우리의 결과(표 4)는 자동화된 예측에서 상당한 진전을 이루었음을 강조합니다. 특히, 우리가 고려하는 질문이 더 어렵기 때문에(크라우드 정확도가 77.0%로 현저히 낮음) 더 나은 정확도(71.5%)를 달성할 수 있었습니다.
이전 연구에서 Zou 등(2022)은 우리가 사용하는 플랫폼 중 3개 플랫폼의 질문으로 구성된 예측 데이터 세트 Autocast에서 시스템을 평가했습니다: 메타쿨러스, INFER, GJOpen. 이들은 커뮤니티 베이스라인인 92.8%에 비해 65.4%의 정확도를 달성했습니다. 이후 Yan 등(2024)은 이를 67.9%로 개선했습니다. 우리의 결과(표 4)는 자동화된 예측에서 상당한 진전을 이루었음을 강조합니다. 특히, 우리가 고려하는 질문이 더 어렵기 때문에(크라우드 정확도가 77.0%로 현저히 낮음) 더 나은 정확도(71.5%)를 달성할 수 있었습니다.