After meticulously identifying influential factors in predicting the loss trajectory, we provide transparent, step-by-step guidelines on how to estimate all constant terms in scaling-law formulas by training on models with only 1M\(\sim\)60M parameters. Using these estimated formulas from small models, we showcase the capability to accurately predict various attributes for models with up to 33B parameters before their training starts. By unravelling the mystery of scaling laws and making them easily accessible to everyone, our objective is to shift the understanding of scaling laws from theoretical concepts to practical implementation, thereby aiding future research in pre-training large language models in a more principled manner.
손실 궤적을 예측하는 데 영향력 있는 요인을 꼼꼼하게 파악한 후, 매개변수가 1M\(\sim\)60M에 불과한 모델을 학습하여 scaling-law 공식의 모든 상수 항을 추정하는 방법에 대한 투명하고 단계별 지침을 제공합니다. 이렇게 추정된 소규모 모델의 공식을 사용하여 훈련이 시작되기 전에 최대 330억 개의 매개변수를 가진 모델의 다양한 속성을 정확하게 예측할 수 있는 기능을 보여줍니다. scaling laws의 신비를 풀고 누구나 쉽게 접근할 수 있도록 함으로써 scaling laws에 대한 이해를 이론적 개념에서 실제 구현으로 전환하여 향후 Large Language Models (LLMs) 사전 학습 연구를 보다 원칙적인 방식으로 지원하는 것이 저희의 목표입니다.
손실 궤적을 예측하는 데 영향력 있는 요인을 꼼꼼하게 파악한 후, 매개변수가 1M\(\sim\)60M에 불과한 모델을 학습하여 스케일링 법칙 공식의 모든 상수 항을 추정하는 방법에 대한 투명하고 단계별 지침을 제공합니다. 이렇게 추정된 소규모 모델의 공식을 사용하여 훈련이 시작되기 전에 최대 330억 개의 매개변수를 가진 모델의 다양한 속성을 정확하게 예측할 수 있는 기능을 보여줍니다. 스케일링 법칙의 신비를 풀고 누구나 쉽게 접근할 수 있도록 함으로써 스케일링 법칙에 대한 이해를 이론적 개념에서 실제 구현으로 전환하여 향후 대규모 언어 모델 사전 학습 연구를 보다 원칙적인 방식으로 지원하는 것이 저희의 목표입니다.