To compute the final Brier score, we first average the Brier scores across retrieval dates for each question, then average across questions. We also report standard errors; however, note that the computation of standard errors assumes the data are i.i.d., while our data are in fact time-series, so this likely underestimates the true error. Finally, we also measure calibration with root mean square (RMS) calibration error.
최종 Brier 점수를 계산하기 위해 먼저 각 질문에 대한 검색 날짜 전체에 걸쳐 Brier 점수를 평균화한 다음 질문 전체에 걸쳐 평균화합니다. 또한 표준 오차를 보고하지만, 표준 오차 계산은 데이터가 i.i.d.인 것으로 가정하는 반면, 실제 데이터는 시계열이므로 이는 실제 오차를 과소 추정할 수 있습니다. 마지막으로, root mean square (RMS) 보정 오차로 보정을 측정합니다.
최종 브리어 점수를 계산하기 위해 먼저 각 질문에 대한 검색 날짜 전체에 걸쳐 브리어 점수를 평균화한 다음 질문 전체에 걸쳐 평균화합니다. 또한 표준 오차를 보고하지만, 표준 오차 계산은 데이터가 i.i.d.인 것으로 가정하는 반면, 실제 데이터는 시계열이므로 이는 실제 오차를 과소 추정할 수 있습니다. 마지막으로, 근사 평균 제곱(RMS) 보정 오차로 보정을 측정합니다.