[49] use the perplexity of correct options as the metric for BIG-Bench and find that the metric improves smoothly on almost all the tasks of BIG-Bench. We argue that the perplexity of correct options is not the correct metric to evaluate the performance of multi-choice questions. The correct metric of multi-choice questions should reflect the ability of distinguishing correct options from incorrect options. The perplexity of correct options and incorrect options may decrease simultaneously. In fact, [49] already observe perplexity of incorrect options decreasing during pre-training and only at the end of training that the perplexity of correct and incorrect options starts to diverge. This supports the existence of emergent abilities.
[49]는 정답 옵션의 perplexity를 BIG-Bench의 metric으로 사용하여 거의 모든 BIG-Bench 작업에서 metric이 매끄럽게 개선되는 것을 발견했습니다. 우리는 정답 옵션의 perplexity가 객관식 문제의 성능을 평가하는 데 적합한 지표가 아니라고 주장합니다. 객관식 문제의 올바른 지표는 정답 옵션과 오답 옵션을 구별하는 능력을 반영해야 합니다. 정답 옵션과 오답 옵션의 perplexity가 동시에 감소할 수 있습니다. 실제로 [49]는 이미 사전 학습 중에 오답 옵션의 perplexity가 감소하는 것을 관찰했으며, 학습이 끝날 무렵에야 정답 옵션과 오답 옵션의 perplexity가 갈라지기 시작했습니다. 이는 emergent abilities의 존재를 뒷받침합니다.
[49]는 정답 옵션의 당혹감을 BIG-Bench의 메트릭으로 사용하여 거의 모든 BIG-Bench 작업에서 메트릭이 매끄럽게 개선되는 것을 발견했습니다. 우리는 정답 옵션의 당혹감이 객관식 문제의 성능을 평가하는 데 적합한 지표가 아니라고 주장합니다. 객관식 문제의 올바른 지표는 정답 옵션과 오답 옵션을 구별하는 능력을 반영해야 합니다. 정답 옵션과 오답 옵션의 당혹감이 동시에 감소할 수 있습니다. 실제로 [49]는 이미 사전 학습 중에 오답 옵션의 당혹감이 감소하는 것을 관찰했으며, 학습이 끝날 무렵에야 정답 옵션과 오답 옵션의 당혹감이 갈라지기 시작했습니다. 이는 새로운 능력의 존재를 뒷받침합니다.