In this paper, we revisit the scaling-law formulas proposed by [20], confirming that they _remain generally applicable when scaling the model size up to 33B_. Other works obtain different conclusions primarily due to (1) Many factors such as the data distribution, context length, tokenization affect the constant coefficients in scaling-law formulas, so the constant coefficients, unlike the formulas themselves, are not universal; and (2) The loss value adheres to an analytical power law relationship with the training step under infinite batch size. With a finite batch size, fitting the loss value with an analytical function is problematic. As a result, none of other works have provided compelling evidence to reliably predict the full loss trajectory of larger models by training solely on smaller models.
이 백서에서는 [20]에서 제안한 scaling-law 공식을 재검토하여 _모델 크기를 33B까지 확장할 때 일반적으로 적용 가능한지 확인했습니다. 다른 연구에서는 주로 (1) 데이터 분포, 문맥 길이, tokenization 등 여러 요인이 scaling-law 공식의 상수 계수에 영향을 미치므로 공식 자체와 달리 상수 계수는 보편적이지 않으며, (2) Loss 값은 무한 Batch Size에서 훈련 단계와 함께 분석적 거듭제곱 법칙을 준수합니다. 유한한 Batch Size에서는 Loss 값을 분석 함수에 맞추는 것이 문제가 됩니다. 결과적으로 다른 어떤 연구에서도 더 작은 모델로만 훈련하여 더 큰 모델의 전체 Loss 궤적을 안정적으로 예측할 수 있는 설득력 있는 증거를 제시하지 못했습니다.
이 백서에서는 [20]에서 제안한 스케일링 법칙 공식을 재검토하여 _모델 크기를 33B까지 확장할 때 일반적으로 적용 가능한지 확인했습니다. 다른 연구에서는 주로 (1) 데이터 분포, 문맥 길이, 토큰화 등 여러 요인이 스케일링 법칙 공식의 상수 계수에 영향을 미치므로 공식 자체와 달리 상수 계수는 보편적이지 않으며, (2) 손실 값은 무한 배치 크기에서 훈련 단계와 함께 분석적 거듭제곱 법칙을 준수합니다. 유한한 배치 크기에서는 손실 값을 분석 함수에 맞추는 것이 문제가 됩니다. 결과적으로 다른 어떤 연구에서도 더 작은 모델로만 훈련하여 더 큰 모델의 전체 손실 궤적을 안정적으로 예측할 수 있는 설득력 있는 증거를 제시하지 못했습니다.