Based on these observations, we define the emergent abilities of LMs from the perspective of pre-training loss: an ability is emergent if it is not present in language models with higher pre-training loss, but is present in language models with lower pre-training loss. According to the loss scaling laws [15; 21], the pre-training loss is a function of model size, data size, and training compute. Therefore, the new emergent abilities can also account for the previously-observed emergent abilities in terms of model size or training compute.
이러한 관찰을 바탕으로, 우리는 사전 학습 Loss의 관점에서 LMs의 출현 능력을 정의합니다: 어떤 능력이 사전 학습 Loss가 더 높은 언어 모델에는 존재하지 않지만 사전 학습 Loss가 더 낮은 언어 모델에는 존재하는 경우, 그 능력은 출현하는 것입니다. Loss Scaling laws[15; 21]에 따르면, 사전 학습 Loss는 모델 크기, 데이터 크기 및 학습 컴퓨팅의 함수입니다. 따라서 새로운 출현 능력은 이전에 관찰된 출현 능력을 모델 크기 또는 학습 컴퓨팅 측면에서도 설명할 수 있습니다.
이러한 관찰을 바탕으로, 우리는 사전 학습 손실의 관점에서 LM의 출현 능력을 정의합니다: 어떤 능력이 사전 학습 손실이 더 높은 언어 모델에는 존재하지 않지만 사전 학습 손실이 더 낮은 언어 모델에는 존재하는 경우, 그 능력은 출현하는 것입니다. 손실 스케일링 법칙[15; 21]에 따르면, 사전 학습 손실은 모델 크기, 데이터 크기 및 학습 컴퓨팅의 함수입니다. 따라서 새로운 출현 능력은 이전에 관찰된 출현 능력을 모델 크기 또는 학습 컴퓨팅 측면에서도 설명할 수 있습니다.