Our paper proposes a new definition of emergent abilities of language models from the perspective of pre-training loss. Empirical results show that the pre-training loss is a better metric to represent the scaling effect of language models than model size or training compute. The performance of emergent abilities exhibits emergent increase when the pre-training loss falls below a certain threshold, even when evaluated with continuous metrics.
우리 논문은 pre-training Loss의 관점에서 언어 모델의 새로운 emergent abilities 정의를 제안합니다. 실험 결과에 따르면 pre-training Loss는 모델 크기나 학습 컴퓨팅보다 언어 모델의 scaling effect를 나타내는 더 나은 지표라는 것이 밝혀졌습니다. emergent abilities의 성능은 연속적인 지표로 평가하더라도 pre-training Loss가 특정 임계값 아래로 떨어질 때 발현적으로 증가하는 것으로 나타났습니다.
우리 논문은 사전 학습 손실의 관점에서 언어 모델의 새로운 발현 능력 정의를 제안합니다. 실험 결과에 따르면 사전 학습 손실은 모델 크기나 학습 컴퓨팅보다 언어 모델의 확장 효과를 나타내는 더 나은 지표라는 것이 밝혀졌습니다. 발현 능력의 성능은 연속적인 지표로 평가하더라도 사전 학습 손실이 특정 임계값 아래로 떨어질 때 발현적으로 증가하는 것으로 나타났습니다.