Throughout the experiment, we set the retrieval date to be the midpoint between a question's open and resolve date. At this time point, the crowd aggregates achieve 0.160 Brier score, averaged over all questions in our validation set.
실험 내내 retrieval 날짜를 질문의 공개 날짜와 해결 날짜 사이의 중간점으로 설정했다. 이 시점에서 크라우드 어그리게이트는 validation 세트의 모든 질문에 대해 평균화된 0.160 Brier score를 달성한다.
실험 내내 검색 날짜를 질문의 공개 날짜와 해결 날짜 사이의 중간점으로 설정했다. 이 시점에서 크라우드 어그리게이트는 유효성 검사 세트의 모든 질문에 대해 평균화된 0.160 브리어 점수를 달성한다.