In this work, we propose to study emergent abilities from the perspective of pre-training loss instead of model size or training compute. To examine the relationship between the pre-training loss of LMs and their performance, we pre-train more than 30 LMs of varied model and data sizes from scratch, using a fixed data corpus, tokenization, and model architecture. Their downstream performance is evaluated on \(12\) diverse datasets covering different tasks, languages, prompting types, and answer forms. We demonstrate that the pre-training loss of an LM is predictive of its performance on downstream tasks, regardless of its model size or data size. The generality of this conclusion is further verified by extracting and observing the performance and loss relationship of the open LLaMA models [44].
이 연구에서는 모델 크기나 훈련 계산량 대신 pre-training loss의 관점에서 새로운 능력을 연구할 것을 제안합니다. LM의 pre-training loss와 성능 간의 관계를 조사하기 위해 고정된 데이터 코퍼스, tokenization 및 모델 architecture를 사용하여 다양한 모델 및 데이터 크기의 30개 이상의 LM을 처음부터 pre-train합니다. 다양한 작업, 언어, prompting 유형 및 답변 형식을 포괄하는 12개의 다양한 데이터 세트에서 downstream 성능을 평가합니다. 우리는 LM의 pre-training loss가 모델 크기나 데이터 크기에 관계없이 downstream 작업에서의 성능을 예측할 수 있음을 보여줍니다. 이 결론의 일반성은 오픈 LLaMA 모델 [44]의 성능과 loss 관계를 추출하고 관찰함으로써 더욱 검증되었습니다.
이 연구에서는 모델 크기나 훈련 계산량 대신 사전 학습 손실의 관점에서 새로운 능력을 연구할 것을 제안합니다. LM의 사전 학습 손실과 성능 간의 관계를 조사하기 위해 고정된 데이터 코퍼스, 토큰화 및 모델 아키텍처를 사용하여 다양한 모델 및 데이터 크기의 30개 이상의 LM을 처음부터 사전 학습합니다. 다양한 작업, 언어, 프롬프트 유형 및 답변 형식을 포괄하는 12개의 다양한 데이터 세트에서 다운스트림 성능을 평가합니다. 우리는 LM의 사전 학습 손실이 모델 크기나 데이터 크기에 관계없이 다운스트림 작업에서의 성능을 예측할 수 있음을 보여줍니다. 이 결론의 일반성은 오픈 LLaMA 모델 [44]의 성능과 손실 관계를 추출하고 관찰함으로써 더욱 검증되었습니다.