First, our system significantly outperforms the crowd when the crowd's predictions express high uncertainty. Specifically, when the crowd's predictions are between.3 and.7, our Brier score is.199 compared to the crowd's.246. However, our system underperforms the crowd on questions where they are highly certain, likely because it rarely outputs low probabilities (Figure 3(b)). We hypothesize that this stems from our model's tendency to hedge predictions due to its safety training (see Figure 17 for a qualitative example). Supporting this, our system achieves 7% higher accuracy on questions where the crowd's prediction is within.05 of 0 or 1, but the Brier score is worse by.04.
첫째, 우리 시스템은 군중의 예측이 높은 불확실성을 표현할 때 군중보다 훨씬 뛰어난 성능을 발휘합니다. 특히 군중의 예측이 .3에서 .7 사이일 때 우리의 Brier score는 .246에 비해 .199입니다. 그러나 우리 시스템은 군중이 매우 확신하는 질문에서 군중보다 성능이 저조한데, 이는 낮은 확률을 거의 출력하지 않기 때문일 가능성이 높습니다(그림 3(b)). 이는 안전 교육으로 인해 모델이 예측을 회피하는 경향이 있기 때문이라고 가설을 세웁니다(정성적인 예는 그림 17 참조). 이를 뒷받침하는 바로 그 시스템은 군중의 예측이 0 또는 1에서 0.05 이내인 질문에서 7% 더 높은 정확도를 달성했지만, Brier score는 0.04 더 나빴습니다.
첫째, 우리 시스템은 군중의 예측이 높은 불확실성을 표현할 때 군중보다 훨씬 뛰어난 성능을 발휘합니다. 특히 군중의 예측이 .3에서 .7 사이일 때 우리의 브리어 점수는 .246에 비해 .199입니다. 그러나 우리 시스템은 군중이 매우 확신하는 질문에서 군중보다 성능이 저조한데, 이는 낮은 확률을 거의 출력하지 않기 때문일 가능성이 높습니다(그림 3(b)). 이는 안전 교육으로 인해 모델이 예측을 회피하는 경향이 있기 때문이라고 가설을 세웁니다(정성적인 예는 그림 17 참조). 이를 뒷받침하는 바로 그 시스템은 군중의 예측이 0 또는 1에서 0.05 이내인 질문에서 7% 더 높은 정확도를 달성했지만, 브리어 점수는 0.04 더 나빴습니다.