Recent studies have put into question the belief that emergent abilities [47] in language models are exclusive to large models. This skepticism arises from two observations: 1) smaller models can also exhibit high performance on emergent abilities and 2) there is doubt on the discontinuous metrics used to measure these abilities. In this paper, we propose to study emergent abilities in the lens of pre-training loss, instead of model size or training compute. We demonstrate that the models with the same pre-training loss, but different model and data sizes, generate the same performance on various downstream tasks. We also discover that a model exhibits emergent abilities on certain tasks--regardless of the continuity of metrics--when its pre-training loss falls below a specific threshold. Before reaching this threshold, its performance remains at the level of random guessing. This inspires us to redefine emergent abilities as those that manifest in models with lower pre-training losses, highlighting that these abilities cannot be predicted by merely extrapolating the performance trends of models with higher pre-training losses.
최근 연구에서는 언어 모델의 emergent abilities[47]가 대규모 모델에만 국한된 것이라는 믿음에 의문을 제기하고 있습니다. 이러한 회의론은 두 가지 관찰 결과에서 비롯됩니다: 1) 소규모 모델도 emergent abilities에 대해 높은 성능을 보일 수 있다는 점과 2) 이러한 능력을 측정하는 데 사용되는 불연속적인 지표에 대한 의구심이 있다는 점입니다. 이 논문에서는 모델 크기나 훈련 컴퓨팅 대신 pre-training loss의 렌즈에서 emergent abilities를 연구할 것을 제안합니다. 우리는 동일한 pre-training loss를 가지지만 모델 및 데이터 크기가 다른 모델이 다양한 다운스트림 작업에서 동일한 성능을 생성한다는 것을 보여 줍니다. 또한 특정 임계값 이하로 pre-training loss가 떨어지면 모델이 지표의 연속성에 관계없이 특정 작업에서 emergent abilities를 나타내는 것을 발견했습니다. 이 임계값에 도달하기 전에는 무작위 추측 수준의 성능에 머물러 있습니다. 이를 통해 우리는 emergent abilities를 pre-training loss가 더 낮은 모델에서 나타나는 능력으로 재정의하고, 이러한 능력은 pre-training loss가 더 높은 모델의 성능 추세를 단순히 추정하여 예측할 수 없음을 강조하게 되었습니다.
최근 연구에서는 언어 모델의 새로운 능력[47]이 대규모 모델에만 국한된 것이라는 믿음에 의문을 제기하고 있습니다. 이러한 회의론은 두 가지 관찰 결과에서 비롯됩니다: 1) 소규모 모델도 새로운 능력에 대해 높은 성능을 보일 수 있다는 점과 2) 이러한 능력을 측정하는 데 사용되는 불연속적인 지표에 대한 의구심이 있다는 점입니다. 이 논문에서는 모델 크기나 훈련 컴퓨팅 대신 사전 학습 손실의 렌즈에서 새로운 능력을 연구할 것을 제안합니다. 우리는 동일한 사전 학습 손실을 가지지만 모델 및 데이터 크기가 다른 모델이 다양한 다운스트림 작업에서 동일한 성능을 생성한다는 것을 보여 줍니다. 또한 특정 임계값 이하로 사전 학습 손실이 떨어지면 모델이 지표의 연속성에 관계없이 특정 작업에서 새로운 능력을 나타내는 것을 발견했습니다. 이 임계값에 도달하기 전에는 무작위 추측 수준의 성능에 머물러 있습니다. 이를 통해 우리는 새로운 능력을 사전 학습 손실이 더 낮은 모델에서 나타나는 능력으로 재정의하고, 이러한 능력은 사전 학습 손실이 더 높은 모델의 성능 추세를 단순히 추정하여 예측할 수 없음을 강조하게 되었습니다.