Over the course, we find that performance on certain downstream tasks only improves beyond the level of random guessing when the pre-training loss falls below a specific threshold, i.e., emergent abilities. Interestingly, the loss thresholds for these tasks are the same. When the loss is above this threshold, performance remains at the level of random guessing, even though performance on other tasks continues to improve from the outset. To exclude the impact of discontinuous metrics [37; 49], we evaluate the emergent performance increase using continuous metrics and show that the emergent abilities persist across both discontinuous and continuous metrics.
이 과정에서 특정 downstream 작업의 성능은 pre-training loss가 특정 임계값, 즉 emergent abilities 아래로 떨어질 때만 무작위 추측 수준 이상으로 향상되는 것을 발견합니다. 흥미롭게도 이러한 작업의 loss 임계값은 동일합니다. loss가 이 임계값보다 높으면 다른 작업의 성능이 처음부터 계속 향상되는데도 성능은 무작위 추측 수준에 머물러 있습니다. 불연속 메트릭[37; 49]의 영향을 배제하기 위해 연속 메트릭을 사용하여 emergent 성능 향상을 평가하고 불연속 메트릭과 연속 메트릭 모두에서 emergent abilities가 지속됨을 보여줍니다.
이 과정에서 특정 다운스트림 작업의 성능은 사전 학습 손실이 특정 임계값, 즉 출현 능력 아래로 떨어질 때만 무작위 추측 수준 이상으로 향상되는 것을 발견합니다. 흥미롭게도 이러한 작업의 손실 임계값은 동일합니다. 손실이 이 임계값보다 높으면 다른 작업의 성능이 처음부터 계속 향상되는데도 성능은 무작위 추측 수준에 머물러 있습니다. 불연속 메트릭[37; 49]의 영향을 배제하기 위해 연속 메트릭을 사용하여 출현 성능 향상을 평가하고 불연속 메트릭과 연속 메트릭 모두에서 출현 능력이 지속됨을 보여줍니다.