To optimize and evaluate our system, we collect a large dataset of forecasting questions from 5 competitive forecasting platforms. The test set consists only of (binary) questions published after June 1st, 2023. Since this is after the knowledge cut-off date of our models, this prevents leakage from pre-training. The train set contains questions before June 1st, 2023, which we use for hyperparameter search and fine-tuning our system.
시스템을 최적화하고 평가하기 위해 5개의 경쟁 예측 플랫폼에서 대규모 예측 질문 데이터 세트를 수집합니다. 테스트 세트는 2023년 6월 1일 이후에 게시된 (이진) 질문으로만 구성됩니다. 이는 모델의 지식 마감일 이후이므로 사전 학습에서 누출되는 것을 방지합니다. train set에는 2023년 6월 1일 이전의 질문이 포함되어 있으며, 이를 사용하여 하이퍼파라미터 검색 및 시스템 Fine-tuning에 사용합니다.
시스템을 최적화하고 평가하기 위해 5개의 경쟁 예측 플랫폼에서 대규모 예측 질문 데이터 세트를 수집합니다. 테스트 세트는 2023년 6월 1일 이후에 게시된 (이진) 질문으로만 구성됩니다. 이는 모델의 지식 마감일 이후이므로 사전 학습에서 누출되는 것을 방지합니다. 트레인 세트에는 2023년 6월 1일 이전의 질문이 포함되어 있으며, 이를 사용하여 하이퍼파라미터 검색 및 시스템 미세 조정에 사용합니다.