[37] use Brier Score [2] as the metric for BIG-Bench. We argue that increase in Brier Score does not always represent improvement of performance on the multi-choice task, since Brier Score is also related to the allocation of probabilities for incorrect options. For example, questions in the MMLU dataset have four options (A, B, C, and D) and the frequency of the four options as correct is equal. Consider two models that give the same probability independent of questions. One model predicts \((1,0,0,0)\) for the four options and the other model predicts \((0.25,0.25,0.25,0.25)\). The Brier Score for the former is 1.5 while the Brier Score for the latter is 0.75. However, both models do not learn the relationship between questions and correct options at all. One can argue that the latter model better fits the distribution of correct options in the dataset, but the improvement is not as large as the different of 1.5 and 0.75.
[37]은 BIG-Bench의 지표로 Brier Score [2]를 사용합니다. 우리는 Brier Score의 증가가 항상 다중 선택 과제에서 성능 향상을 나타내는 것은 아니라고 주장합니다. 이는 Brier Score가 잘못된 옵션에 대한 확률 할당과도 관련이 있기 때문입니다. 예를 들어, MMLU 데이터셋의 질문에는 네 가지 옵션(A, B, C, D)이 있으며, 네 가지 옵션이 정답일 빈도는 동일합니다. 질문과 무관하게 동일한 확률을 제공하는 두 모델을 고려해 봅시다. 한 모델은 네 가지 옵션에 대해 \((1,0,0,0)\)을 예측하고, 다른 모델은 \((0.25,0.25,0.25,0.25)\)을 예측합니다. 전자의 Brier Score는 1.5이고, 후자의 Brier Score는 0.75입니다. 그러나 두 모델 모두 질문과 정답 옵션 간의 관계를 전혀 학습하지 않습니다. 후자의 모델이 데이터셋에서 정답 옵션의 분포에 더 잘 맞는다고 주장할 수 있지만, 그 향상은 1.5와 0.75의 차이만큼 크지 않습니다.
[37]은 BIG-Bench의 메트릭으로 Brier Score [2]를 사용합니다. Brier Score는 오답 옵션에 대한 확률 할당과도 관련이 있기 때문에 Brier Score의 증가가 항상 객관식 문제에 대한 성능 향상을 나타내는 것은 아니라고 주장합니다. 예를 들어, MMLU 데이터 세트의 문제에는 네 가지 옵션(A, B, C, D)이 있으며 네 가지 옵션이 정답인 빈도는 동일합니다. 질문과 무관하게 동일한 확률을 제공하는 두 개의 모델을 생각해 보겠습니다. 한 모델은 네 가지 옵션에 대해 \((1,0,0,0)\)을 예측하고 다른 모델은 \((0.25,0.25,0.25,0.25)\)을 예측합니다. 전자의 Brier 점수는 1.5이고 후자의 Brier 점수는 0.75입니다. 그러나 두 모델 모두 질문과 정답 옵션 사이의 관계를 전혀 학습하지 못했습니다. 후자의 모델이 데이터 세트의 정답 옵션 분포에 더 잘 맞는다고 주장할 수 있지만, 1.5와 0.75의 차이만큼 개선이 크지는 않습니다.