None of the models are naturally good at forecasting. Most models' scores are around or worse than random guessing (.25). Only the GPT-4 and Claude-2 series beat the unskilled baseline by a large margin (\(>.02\)). Moreover, while GPT-4-1106-Preview achieves the lowest Brier score of.208, it trails significantly behind the human crowd performance of.149.
어떤 모델도 자연스럽게 예측에 능숙하지 않습니다. 대부분의 모델 점수는 무작위 추측(.25) 정도이거나 그보다 나쁩니다. GPT-4 및 Claude-2 시리즈만이 비숙련 baseline을 크게 뛰어넘습니다(\(>.02\)). 또한 GPT-4-1106-Preview는 0.208로 가장 낮은 Brier score를 달성하지만, 인간 군중의 0.149에 크게 뒤처집니다.
어떤 모델도 자연스럽게 예측에 능숙하지 않습니다. 대부분의 모델 점수는 무작위 추측(.25) 정도이거나 그보다 나쁩니다. GPT-4 및 Claude-2 시리즈만이 비숙련 기준선을 크게 뛰어넘습니다(\(>.02\)). 또한 GPT-4-1106-Preview는 0.208로 가장 낮은 브리어 점수를 달성하지만, 인간 군중의 0.149에 크게 뒤처집니다.