**Emergent abilities.**[47] propose the idea of emergent abilities, abilities that only present in large language models. This is similar to the claim of [13] that it is more difficult to predict the capacities of language models than to predict the pre-training loss. The existence of emergent abilities has been challenged. [16] show that smaller language models trained with sufficient data can outperform undertrained larger language models, supported by follow-up models [44; 19; 45]. On the other hand, [37] claim that emergent abilities are due to the discontinuos metrics used for evaluation, also found in [49]. Similarly, [17] propose to predict the performance of emergent abilities with the infinite resolution evaluation metric. In this paper we prove the existence of emergent abilities from the perspecitve of pre-training loss, even with continuous metrics.
**Emergent abilities**.[47]은 대규모 언어 모델에만 존재하는 능력인 emergent abilities라는 개념을 제안합니다. 이는 사전 학습 Loss를 예측하는 것보다 언어 모델의 역량을 예측하는 것이 더 어렵다는 [13]의 주장과 유사합니다. emergent abilities의 존재는 이의를 제기했습니다. [16]은 충분한 데이터로 훈련된 소규모 언어 모델이 과소 훈련된 대규모 언어 모델보다 성능이 뛰어날 수 있음을 보여주며, 후속 모델 [44; 19; 45]의 지원을 받았습니다. 반면에 [37]은 emergent abilities는 평가에 사용되는 불연속적인 메트릭 때문이라고 주장하며, 이는 [49]에서도 발견되었습니다. 마찬가지로 [17]은 무한 해상도 평가 메트릭으로 emergent abilities의 성능을 예측할 것을 제안합니다. 이 논문에서는 연속적인 메트릭이 있어도 사전 학습 Loss의 관점에서 emergent abilities의 존재를 증명합니다.
**이머전 능력**.[47]은 대규모 언어 모델에만 존재하는 능력인 이머전 능력이라는 개념을 제안합니다. 이는 사전 학습 손실을 예측하는 것보다 언어 모델의 역량을 예측하는 것이 더 어렵다는 [13]의 주장과 유사합니다. 이머전 능력의 존재는 이의를 제기했습니다. [16]은 충분한 데이터로 훈련된 소규모 언어 모델이 과소 훈련된 대규모 언어 모델보다 성능이 뛰어날 수 있음을 보여주며, 후속 모델 [44; 19; 45]의 지원을 받았습니다. 반면에 [37]은 이머전 능력은 평가에 사용되는 불연속적인 메트릭 때문이라고 주장하며, 이는 [49]에서도 발견되었습니다. 마찬가지로 [17]은 무한 해상도 평가 메트릭으로 이머전 능력의 성능을 예측할 것을 제안합니다. 이 논문에서는 연속적인 메트릭이 있어도 사전 학습 손실의 관점에서 이머전 능력의 존재를 증명합니다.