Combining the system's predictions with the crowd using a weighted average--4x weight for the crowd, which we find optimal on the validation set--improves the overall Brier score from.149 to.146 on the full test set (Table 3, top row).
시스템의 예측을 군중과 결합하여 가중 평균을 사용합니다--검증 세트에서 최적이라고 판단한 군중에 대한 4배 가중치--이 전체 테스트 세트에서 Brier 점수를 0.149에서 0.146으로 개선합니다 (표 3, 상단 행).
가중 평균(군중에 대한 가중치 4배, 유효성 검사 세트에서 최적임을 확인)을 사용하여 시스템의 예측을 군중과 결합하면 전체 테스트 세트에서 전체 브리어 점수가 .149에서 .146으로 향상됩니다(표 3, 맨 위 행).