[37] propose an alternative explanation of emergent abilities of LMs, that is, emergent abilities appear due to the researchers' choice of nonlinear or discontinuous metrics. The accuracy on multi-choice questions (e.g., MMLU) is discontinuous, since the score on a question is either 1 or 0. To validate this claim, we examine the intermediate checkpoints on MMLU and C-Eval with continuous metrics rather than accuracy (discontinuous) used in the original benchmarks. The first metric is the predicted probability of the correct answer (CorrectChoiceProb).
[37]은 LMs의 새로운 능력에 대한 대안적인 설명, 즉 비선형 또는 불연속 metrics를 연구자가 선택했기 때문에 새로운 능력이 나타난다는 설명을 제안합니다. 객관식 문제(예: MMLU)의 정확도는 문제의 점수가 1이거나 0이기 때문에 불연속적입니다. 이 주장을 검증하기 위해 원래 벤치마크에서 사용된 정확도(불연속적)가 아닌 연속 metrics를 사용하여 MMLU 및 C-Eval의 중간 체크포인트를 조사합니다. 첫 번째 metric은 정답의 예측 확률(CorrectChoiceProb)입니다.
[37]은 LM의 새로운 능력에 대한 대안적인 설명, 즉 비선형 또는 불연속 메트릭을 연구자가 선택했기 때문에 새로운 능력이 나타난다는 설명을 제안합니다. 객관식 문제(예: MMLU)의 정확도는 문제의 점수가 1이거나 0이기 때문에 불연속적입니다. 이 주장을 검증하기 위해 원래 벤치마크에서 사용된 정확도(불연속적)가 아닌 연속 메트릭을 사용하여 MMLU 및 C-Eval의 중간 체크포인트를 조사합니다. 첫 번째 메트릭은 정답의 예측 확률(CorrectChoiceProb)입니다.