for this task, which contains questions created by crowdworkers based on events from news articles. Zou et al. (2022) introduced Autocast, a benchmark dataset compiled from forecasting competition questions up to 2022. In a competition with a large prize pool, no machine learning system was able to approach the performance of human forecasters on Autocast (Zou et al., 2022). The knowledge cut-offs of LMs have moved past 2022, necessitating more recent data. In this work, we source questions in 2023-2024, enabling us to apply recent LMs.
이 작업을 위해, 뉴스 기사에서 발생한 사건을 바탕으로 크라우드워커들이 작성한 질문들이 포함되어 있습니다. Zou 등(2022)은 2022년까지의 예측 대회 질문들로 구성된 벤치마크 데이터셋인 Autocast를 소개했습니다. 큰 상금이 걸린 대회에서, 어떤 머신 러닝 시스템도 Autocast에서 인간 예측가의 성능에 접근할 수 없었습니다(Zou 등, 2022). LMs의 지식 컷오프는 2022년을 넘어섰으며, 더 최근의 데이터가 필요합니다. 이 연구에서는 2023-2024년의 질문들을 소싱하여 최신 LMs를 적용할 수 있게 했습니다.
이 작업에는 뉴스 기사의 사건을 기반으로 크라우드워커가 만든 질문이 포함되어 있습니다. Zou et al. (2022)은 2022년까지의 예측 경진대회 질문을 모아 만든 벤치마크 데이터 세트인 Autocast를 소개했습니다. 상당한 상금이 걸린 경쟁에서도 어떤 머신러닝 시스템도 Autocast에서 인간 예측자의 성능에 근접하지 못했습니다(Zou et al., 2022). LM의 지식 컷오프가 2022년을 넘어서면서 더 최근의 데이터가 필요하게 되었습니다. 이 연구에서는 2023~2024년에 질문을 소싱하여 최신 LM을 적용할 수 있었습니다.