* Hyperparameters such as batch size, learning rate, and learning rate scheduler influence the rate of convergence, yet do not impact the final converged loss provided that (1) their values fall within a reasonable range and (2) the model is trained with sufficient steps on adequate amounts of data. * Adjusting the batch size involves a trade-off between time and computation. The critical batch size that strikes an optimal time/computation balance can be determined based solely on the loss value. Training with this critical batch size requires twice as many training steps to achieve a specific loss value compared to using an infinite batch size (minimum possible required steps). * The context length, tokenization, data distribution and model configurations have big impacts on the constants in scaling law formulas, but do not affect the form of scaling law itself. * When given a fixed context length, tokenization, data distribution, model configurations and learning rate scheduler, we observe precise and predictable power-law scalings for performance in relation to training step, batch size, and model size, provided that the learning rate is optimally configured. * By training models with fewer than 60 million parameters, we can accurately estimate the constants in scaling-law formulas. This allows us to predict various attributes for models with up to 33 billion parameters before their training, including (1) the minimum possible loss; (2) the minimum required training steps and processed tokens to achieve a specific loss; (3) the critical batch size at any loss value; and (4) the complete test loss trajectory with arbitrary batch size. * These predicted attributes have many intriguing features, assisting us in identifying crucial factors before training large models, such as the optimal model size and training steps within a fixed computational budget, the necessary amount of data, the ideal mix ratio of multiple datasets, and more.
* Batch Size, Learning Rate 및 Learning Rate Scheduler와 같은 하이퍼파라미터는 수렴 속도에 영향을 미치지만, (1) 해당 값이 합리적인 범위 내에 있고 (2) 적절한 양의 데이터에 대해 충분한 단계로 모델을 훈련하는 경우 최종 수렴 Loss에는 영향을 미치지 않습니다. * Batch Size를 조정하려면 시간과 계산 사이의 절충안이 필요합니다. 최적의 시간/계산 균형을 이루는 임계 Batch Size는 Loss 값만을 기준으로 결정할 수 있습니다. 이 임계 Batch Size로 훈련하려면 무한 Batch Size(최소 필요한 단계 수)를 사용할 때보다 특정 Loss 값을 달성하는 데 두 배의 훈련 단계가 필요합니다. * 문맥 길이, 토큰화, 데이터 분포 및 모델 구성은 Scaling Law 공식의 상수에 큰 영향을 미치지만 Scaling Law 자체의 형태에는 영향을 미치지 않습니다. * 고정된 문맥 길이, 토큰화, 데이터 분포, 모델 구성 및 Learning Rate Scheduler가 주어지면 학습 속도가 최적으로 구성된 경우 훈련 단계, Batch Size 및 모델 크기에 대한 성능과 관련하여 정확하고 예측 가능한 거듭제곱 규칙을 관찰할 수 있습니다. * 6천만 개 미만의 파라미터를 가진 모델을 훈련하면 Scaling Law 공식의 상수를 정확하게 추정할 수 있습니다. 이를 통해 (1) 최소 가능한 Loss, (2) 특정 Loss를 달성하기 위해 필요한 최소 훈련 단계 및 처리된 토큰 수, (3) 모든 Loss 값에서 임계 Batch Size, (4) 임의의 Batch Size로 완전한 테스트 Loss 궤적 등 최대 330억 개의 파라미터를 가진 모델에 대한 다양한 속성을 훈련 전에 예측할 수 있습니다. * 이러한 예측 속성은 많은 흥미로운 특징을 가지고 있어 고정된 계산 예산 내에서 최적의 모델 크기와 훈련 단계, 필요한 데이터 양, 여러 데이터 세트의 이상적인 혼합 비율 등 대규모 모델을 훈련하기 전에 중요한 요소를 식별하는 데 도움이 됩니다.
* 배치 크기, 학습 속도 및 학습 속도 스케줄러와 같은 하이퍼파라미터는 수렴 속도에 영향을 미치지만, (1) 해당 값이 합리적인 범위 내에 있고 (2) 적절한 양의 데이터에 대해 충분한 단계로 모델을 훈련하는 경우 최종 수렴 손실에는 영향을 미치지 않습니다. * 배치 크기를 조정하려면 시간과 계산 사이의 절충안이 필요합니다. 최적의 시간/계산 균형을 이루는 임계 배치 크기는 손실 값만을 기준으로 결정할 수 있습니다. 이 임계 배치 크기로 훈련하려면 무한 배치 크기(최소 필요한 단계 수)를 사용할 때보다 특정 손실 값을 달성하는 데 두 배의 훈련 단계가 필요합니다. * 문맥 길이, 토큰화, 데이터 분포 및 모델 구성은 스케일링 법칙 공식의 상수에 큰 영향을 미치지만 스케일링 법칙 자체의 형태에는 영향을 미치지 않습니다. * 고정된 문맥 길이, 토큰화, 데이터 분포, 모델 구성 및 학습 속도 스케줄러가 주어지면 학습 속도가 최적으로 구성된 경우 훈련 단계, 배치 크기 및 모델 크기에 대한 성능과 관련하여 정확하고 예측 가능한 거듭제곱 규칙을 관찰할 수 있습니다. * 6천만 개 미만의 파라미터를 가진 모델을 훈련하면 스케일링 법칙 공식의 상수를 정확하게 추정할 수 있습니다. 이를 통해 (1) 최소 가능한 손실, (2) 특정 손실을 달성하기 위해 필요한 최소 훈련 단계 및 처리된 토큰 수, (3) 모든 손실 값에서 임계 배치 크기, (4) 임의의 배치 크기로 완전한 테스트 손실 궤적 등 최대 330억 개의 파라미터를 가진 모델에 대한 다양한 속성을 훈련 전에 예측할 수 있습니다. * 이러한 예측 속성은 많은 흥미로운 특징을 가지고 있어 고정된 계산 예산 내에서 최적의 모델 크기와 훈련 단계, 필요한 데이터 양, 여러 데이터 세트의 이상적인 혼합 비율 등 대규모 모델을 훈련하기 전에 중요한 요소를 식별하는 데 도움이 됩니다.