1. We curate the largest, most recent dataset of real-world forecasting questions to date, for evaluating and optimizing automated forecasting systems. 2. We build a retrieval-augmented LM system that significantly improves upon the baseline and approaches the human crowd performance on competitive forecasting platforms. 3. We propose and apply a self-supervised fine-tuning method to improve LM's capability in reasoning about forecasting tasks.
1. 자동화된 예측 시스템을 평가하고 최적화하기 위해 현재까지 가장 최근의 실제 예측 질문 데이터 세트를 큐레이션합니다. 2. Retrieval-augmented LM 시스템을 구축하여 baseline을 크게 개선하고 경쟁 예측 플랫폼에서 인간 크라우드 성능에 근접합니다. 3. 예측 작업에 대한 추론 기능을 개선하기 위해 self-supervised Fine-tuning 방법을 제안하고 적용합니다.
1. 자동화된 예측 시스템을 평가하고 최적화하기 위해 현재까지 가장 최근의 실제 예측 질문 데이터 세트를 큐레이션합니다. 2. 검색 증강 LM 시스템을 구축하여 기본 사양을 크게 개선하고 경쟁 예측 플랫폼에서 인간 크라우드 성능에 근접합니다. 3. 예측 작업에 대한 추론 기능을 개선하기 위해 자가 지도 미세 조정 방법을 제안하고 적용합니다.