We first evaluate the Brier score of our end-to-end system on the test set. Note that all hyperparameters were chosen based on the validation set and all test set questions appear temporally after the validation questions, mirroring the setting of a real-time forecasting competition. In addition to the Brier score, we also report accuracy to compare with past work (Zou et al., 2022; Yan et al., 2024).
먼저 테스트 세트에서 엔드투엔드 시스템의 Brier score를 평가합니다. 모든 하이퍼파라미터는 validation set을 기반으로 선택되었으며 모든 테스트 세트 문제는 실시간 예측 경쟁의 설정을 반영하여 validation 문제 이후에 시간적으로 나타납니다. Brier score 외에도 과거 작업(Zou et al., 2022; Yan et al., 2024)과 비교하기 위해 accuracy도 보고합니다.
먼저 테스트 세트에서 엔드투엔드 시스템의 브리어 점수를 평가합니다. 모든 하이퍼파라미터는 유효성 검사 세트를 기반으로 선택되었으며 모든 테스트 세트 문제는 실시간 예측 경쟁의 설정을 반영하여 유효성 검사 문제 이후에 시간적으로 나타납니다. 브리어 점수 외에도 과거 작업(Zou et al., 2022; Yan et al., 2024)과 비교하기 위해 정확도도 보고합니다.