We study the relationship between the performance of the language models (LMs) on 12 downstream tasks and the pre-training loss. We pre-train LMs of different model sizes (300M, 540M, 1B, 1.5B, 3B, 6B, and 32B) on varied numbers of tokens with fixed data corpus, tokenization, and architecture. In addition, we leverage the open LLaMA [44] models (7B, 13B, 33B, and 65B) to validate our observations.
12개의 다운스트림 작업에서 언어 모델(LMs)의 성능과 pre-training Loss 간의 관계를 연구합니다. 다양한 모델 크기(300M, 540M, 1B, 1.5B, 3B, 6B, 32B)의 LMs을 고정된 데이터 코퍼스, tokenization 및 architecture로 다양한 토큰 수에 대해 pre-train합니다. 또한 개방형 LLaMA [44] 모델(7B, 13B, 33B, 65B)을 활용하여 관찰 결과를 검증합니다.
12개의 다운스트림 작업에서 언어 모델(LM)의 성능과 사전 학습 손실 간의 관계를 연구합니다. 다양한 모델 크기(300M, 540M, 1B, 1.5B, 3B, 6B, 32B)의 LM을 고정된 데이터 코퍼스, 토큰화 및 아키텍처로 다양한 토큰 수에 대해 사전 학습합니다. 또한 개방형 LLaMA [44] 모델(7B, 13B, 33B, 65B)을 활용하여 관찰 결과를 검증합니다.