Scaling law principles indicate a power-law correlation between loss and variables such as model size, dataset size, and computational resources utilized during training. These principles play a vital role in optimizing various aspects of model pre-training, ultimately contributing to the success of large language models such as GPT-4, Llama and Gemini. However, the original scaling law paper by OpenAI did not disclose the complete details necessary to derive the precise scaling law formulas, and their conclusions are only based on models containing up to 1.5 billion parameters. Though some subsequent works attempt to unveil these details and scale to larger models, they often neglect the training dependency of important factors such as the learning rate, context length and batch size, leading to their failure to establish a reliable formula for predicting the test loss trajectory. In this technical report, we confirm that the _scaling law formulations proposed in the original OpenAI paper remain valid when scaling the model size up to 33 billion_, but the constant coefficients in these formulas vary significantly with the experiment setup 2. We meticulously identify influential factors and provide transparent, step-by-step instructions to estimate all constant terms in scaling-law formulas by training on models with only 1M\(\sim\)60M parameters. Using these estimated formulas, we showcase the capability to accurately predict various attributes for models with up to 33B parameters before their training, including (1) the minimum possible test loss; (2) the minimum required training steps and processed tokens to achieve a specific loss; (3) the critical batch size with an optimal time/computation trade-off at any loss value; and (4) the complete test loss trajectory with arbitrary batch size. We further illustrate how scaling laws can aid in determining the most suitable batch/model size, dataset mix ratio and training duration under fixed computational constraints in a principled way. Our research represents a significant shift from theoretical comprehension of scaling laws to their practical derivation and application, with the aim of advancing the development of large-scale language models.
스케일링 법칙 원리는 Loss와 모델 크기, 데이터 세트 크기, 훈련 중에 활용되는 계산 리소스와 같은 변수 간의 거듭제곱 법칙 상관관계를 나타냅니다. 이러한 원리는 모델 사전 학습의 다양한 측면을 최적화하는 데 중요한 역할을 하며, 궁극적으로 GPT-4, Llama 및 Gemini와 같은 Large Language Models (LLMs)의 성공에 기여합니다. 그러나 OpenAI의 원래 스케일링 법칙 논문에서는 정확한 스케일링 법칙 공식을 도출하는 데 필요한 모든 세부 사항을 공개하지 않았으며, 그 결론은 최대 15억 개의 파라미터를 포함하는 모델에만 기반합니다. 일부 후속 연구에서는 이러한 세부 사항을 공개하고 더 큰 모델로 확장하려고 시도하지만, Learning Rate, 문맥 길이 및 Batch Size와 같은 중요한 요소의 훈련 종속성을 소홀히 하여 테스트 Loss 궤적을 예측하기 위한 신뢰할 수 있는 공식을 수립하지 못하는 경우가 많습니다. 이 기술 보고서에서는 모델 크기를 330억 개까지 확장할 때 _원래 OpenAI 논문에서 제안한 스케일링 법칙 공식이 여전히 유효하다는 것을 확인했지만, 이러한 공식의 상수 계수는 실험 설정 2에 따라 크게 달라진다는 것을 확인했습니다. 2. 영향력 있는 요인을 면밀히 파악하고 1M\(\sim\)60M 파라미터만 있는 모델을 학습하여 스케일링 법칙 공식의 모든 상수 항을 추정하는 투명하고 단계별 지침을 제공합니다. 이러한 추정 공식을 사용하여 (1) 가능한 최소 테스트 Loss, (2) 특정 Loss를 달성하기 위해 필요한 최소 훈련 단계 및 처리된 토큰, (3) 모든 Loss 값에서 최적의 시간/계산 트레이드오프를 가진 중요한 Batch Size, (4) 임의의 Batch Size로 완전한 테스트 Loss 궤적을 포함하여 최대 330억 개의 파라미터를 가진 모델에 대한 다양한 속성을 훈련 전에 정확하게 예측할 수 있는 기능을 보여줍니다. 또한 스케일링 법칙을 사용하여 고정된 계산 제약 조건에서 가장 적합한 Batch/모델 크기, 데이터 세트 혼합 비율 및 훈련 기간을 원칙에 따라 결정하는 방법을 설명합니다. 이 연구는 스케일링 법칙에 대한 이론적 이해에서 실제 도출 및 적용으로 크게 전환한 것으로, 대규모 언어 모델 개발을 발전시키는 것을 목표로 합니다.
스케일링 법칙 원리는 손실과 모델 크기, 데이터 세트 크기, 훈련 중에 활용되는 계산 리소스와 같은 변수 간의 거듭제곱 법칙 상관관계를 나타냅니다. 이러한 원리는 모델 사전 학습의 다양한 측면을 최적화하는 데 중요한 역할을 하며, 궁극적으로 GPT-4, Llama 및 Gemini와 같은 대규모 언어 모델의 성공에 기여합니다. 그러나 OpenAI의 원래 스케일링 법칙 논문에서는 정확한 스케일링 법칙 공식을 도출하는 데 필요한 모든 세부 사항을 공개하지 않았으며, 그 결론은 최대 15억 개의 파라미터를 포함하는 모델에만 기반합니다. 일부 후속 연구에서는 이러한 세부 사항을 공개하고 더 큰 모델로 확장하려고 시도하지만, 학습 속도, 문맥 길이 및 배치 크기와 같은 중요한 요소의 훈련 종속성을 소홀히 하여 테스트 손실 궤적을 예측하기 위한 신뢰할 수 있는 공식을 수립하지 못하는 경우가 많습니다. 이 기술 보고서에서는 모델 크기를 330억 개까지 확장할 때 _원래 OpenAI 논문에서 제안한 스케일링 법칙 공식이 여전히 유효하다는 것을 확인했지만, 이러한 공식의 상수 계수는 실험 설정 2에 따라 크게 달라진다는 것을 확인했습니다. 2. 영향력 있는 요인을 면밀히 파악하고 1M\(\sim\)60M 파라미터만 있는 모델을 학습하여 스케일링 법칙 공식의 모든 상수 항을 추정하는 투명하고 단계별 지침을 제공합니다. 이러한 추정 공식을 사용하여 (1) 가능한 최소 테스트 손실, (2) 특정 손실을 달성하기 위해 필요한 최소 훈련 단계 및 처리된 토큰, (3) 모든 손실 값에서 최적의 시간/계산 트레이드오프를 가진 중요한 배치 크기, (4) 임의의 배치 크기로 완전한 테스트 손실 궤적을 포함하여 최대 330억 개의 파라미터를 가진 모델에 대한 다양한 속성을 훈련 전에 정확하게 예측할 수 있는 기능을 보여줍니다. 또한 스케일링 법칙을 사용하여 고정된 계산 제약 조건에서 가장 적합한 배치/모델 크기, 데이터 세트 혼합 비율 및 훈련 기간을 원칙에 따라 결정하는 방법을 설명합니다. 이 연구는 스케일링 법칙에 대한 이론적 이해에서 실제 도출 및 적용으로 크게 전환한 것으로, 대규모 언어 모델 개발을 발전시키는 것을 목표로 합니다.