We find that our system performs best relative to the crowd on the validation set when (1) the crowd is less confident, (2) at earlier retrieval dates, and (3) when it retrieves many articles. Furthermore, we find that our system is well-calibrated.
우리는 (1) 군중이 덜 확신할 때, (2) 더 이른 retrieval 날짜에, (3) 많은 기사를 retrieval할 때 validation 세트에서 군중에 비해 시스템이 가장 우수하게 작동한다는 것을 발견했습니다. 또한 우리 시스템이 잘 보정되어 있다는 것을 발견했습니다.
우리는 (1) 군중이 덜 확신할 때, (2) 더 이른 검색 날짜에, (3) 많은 기사를 검색할 때 유효성 검사 세트에서 군중에 비해 시스템이 가장 우수하게 작동한다는 것을 발견했습니다. 또한 우리 시스템이 잘 보정되어 있다는 것을 발견했습니다.