We plot the results measured by different metrics on MMLU and C-Eval in Figure 4. All three metrics--accuracy, correct choice probability, and Brier Score--show emergent performance improvements (value increase for the first two and decrease for the third) when the pre-training loss drops below a certain threshold. The Brier Score also decreases when the pre-training loss is above the threshold. However, the decrease of Brier Score does not always represent improvements on the task, since the Brier Score is related to not only the predicted probability of the correct answer but also the predicted probabilities of the incorrect answers. We find that the distribution of the correct answers is uniform in the four options in MMLU and C-Eval. The best Brier Score for a context-free predictor is achieved by always giving uniform probability to all the options. In this case, the Brier Score is equal to 0.75. Therefore, the performance in terms of Brier Score is no better than random guess before the loss reaches the threshold. This observation further confirms our previous conclusion. We discuss the contrary observations of [37] and [49] in Appendix C.
그림 4에 MMLU와 C-Eval에서 다양한 metrics로 측정한 결과를 그래프로 표시했습니다. 정확도, 정답 선택 확률, Brier Score 등 세 가지 metrics 모두 pre-training loss가 특정 임계값 아래로 떨어지면 성능이 향상됩니다(앞의 두 가지는 값이 증가하고 세 번째는 감소). pre-training loss가 임계값보다 높을 때도 Brier Score가 감소합니다. 그러나 Brier Score는 정답의 예측 확률뿐만 아니라 오답의 예측 확률과도 관련이 있기 때문에 Brier Score의 감소가 항상 과제의 개선을 나타내는 것은 아닙니다. MMLU와 C-Eval에서 정답의 분포가 네 가지 옵션에서 균일하다는 것을 발견했습니다. 문맥이 없는 예측자의 최적의 Brier Score는 항상 모든 옵션에 균일한 확률을 부여함으로써 달성할 수 있습니다. 이 경우 Brier Score는 0.75와 같습니다. 따라서 loss가 임계값에 도달하기 전에는 Brier Score 측면에서의 성능이 무작위 추측보다 나을 수 없습니다. 이 관찰은 이전 결론을 더욱 확인시켜 줍니다. [37] 및 [49]의 상반된 관찰에 대해서는 부록 C에서 설명합니다.
그림 4에 MMLU와 C-Eval에서 다양한 메트릭으로 측정한 결과를 그래프로 표시했습니다. 정확도, 정답 선택 확률, 브리어 점수 등 세 가지 메트릭 모두 사전 학습 손실이 특정 임계값 아래로 떨어지면 성능이 향상됩니다(앞의 두 가지는 값이 증가하고 세 번째는 감소). 사전 학습 손실이 임계값보다 높을 때도 브리어 점수가 감소합니다. 그러나 브리어 점수는 정답의 예측 확률뿐만 아니라 오답의 예측 확률과도 관련이 있기 때문에 브리어 점수의 감소가 항상 과제의 개선을 나타내는 것은 아닙니다. MMLU와 C-Eval에서 정답의 분포가 네 가지 옵션에서 균일하다는 것을 발견했습니다. 문맥이 없는 예측자의 최적의 브리어 점수는 항상 모든 옵션에 균일한 확률을 부여함으로써 달성할 수 있습니다. 이 경우 브리어 점수는 0.75와 같습니다. 따라서 손실이 임계값에 도달하기 전에는 브리어 점수 측면에서의 성능이 무작위 추측보다 나을 수 없습니다. 이 관찰은 이전 결론을 더욱 확인시켜 줍니다. [37] 및 [49]의 상반된 관찰에 대해서는 부록 C에서 설명합니다.