In Figure 6 of [37], they evaluate 4 tasks in BIG-Bench with the Brier Score metric and find that the emergent abilities disapper. We hypothesis that they normalize the Brier Score with the number of options in each question, otherwise the Brier Score of 0.25 on the swahili_english_proverbs task is too low for the smallest model. Four tasks have 2, 2, 4, 5 options in each question.
[37]의 그림 6에서, 그들은 Brier Score 메트릭으로 BIG-Bench에서 4개의 과제를 평가하고 출현 능력이 사라지는 것을 발견합니다. 우리는 그들이 각 문제의 옵션 수로 Brier Score를 정규화한다고 가설을 세웁니다. 그렇지 않으면 swahili_english_proverbs 과제에서 Brier Score가 0.25로 가장 작은 모델에 비해 너무 낮습니다. 4개의 과제는 각 문제에 2, 2, 4, 5개의 옵션이 있습니다.
[37]의 그림 6에서, 그들은 Brier 점수 메트릭으로 BIG-Bench에서 4개의 과제를 평가하고 출현 능력이 사라지는 것을 발견합니다. 우리는 그들이 각 문제의 옵션 수로 Brier 점수를 정규화한다고 가설을 세웁니다. 그렇지 않으면 스와힐리어_영어_속담 과제에서 Brier 점수가 0.25로 가장 작은 모델에 비해 너무 낮습니다. 4개의 과제는 각 문제에 2, 2, 4, 5개의 옵션이 있습니다.