We study the relationship of pre-training loss and performance on downstream tasks of language models, across model sizes, training tokens, tasks, languages, prompting types, and answer forms. Factors we have not considered are model architectures and training algorithms. We analyze the performance-loss curves of LLaMA, a language model with a slightly different architecture, and fine that the relationship holds for the model family. But there are fundamentally different model architectures, such as routed Transformers [11], and non-Transformer architectures [12; 30] beyond our consideration. Both our models and LLaMA use AdamW optimizer [27], while there are other optimizers for language model pre-training [39; 24].
모델 크기, 학습 토큰, 작업, 언어, 프롬프트 유형 및 답변 형식에 따라 사전 학습 Loss와 다운스트림 작업의 성능 간의 관계를 연구합니다. 고려하지 않은 요소는 모델 아키텍처와 학습 알고리즘입니다. 약간 다른 아키텍처를 가진 언어 모델인 LLaMA의 성능-Loss 곡선을 분석한 결과, 모델 제품군에 대한 관계가 유지되는 것을 확인했습니다. 그러나 routed Transformers[11]와 비-Transformer 아키텍처[12; 30]와 같이 근본적으로 다른 모델 아키텍처가 있습니다. 우리의 모델과 LLaMA는 모두 AdamW Optimizer[27]를 사용하는 반면, 언어 모델 사전 학습을 위한 다른 Optimizer[39; 24]가 있습니다.
모델 크기, 학습 토큰, 작업, 언어, 프롬프트 유형 및 답변 형식에 따라 사전 학습 손실과 다운스트림 작업의 성능 간의 관계를 연구합니다. 고려하지 않은 요소는 모델 아키텍처와 학습 알고리즘입니다. 약간 다른 아키텍처를 가진 언어 모델인 LLaMA의 성능-손실 곡선을 분석한 결과, 모델 제품군에 대한 관계가 유지되는 것을 확인했습니다. 그러나 루팅 트랜스포머[11]와 비 트랜스포머 아키텍처[12; 30]와 같이 근본적으로 다른 모델 아키텍처가 있습니다. 우리의 모델과 LLaMA는 모두 AdamW 옵티마이저[27]를 사용하는 반면, 언어 모델 사전 학습을 위한 다른 옵티마이저[39; 24]가 있습니다.