The Scaling Law posits a predictive enhancement in model performance through the augmentation of three critical dimensions: computational budget \(C\), model size \(N\), and data size \(D\). This law articulates that when the model size \(N\) is quantified by the count of model parameters, and the data size \(D\) is measured in terms of the number of tokens, the computational budget \(C\) can be approximated effectively by the formula \(C=6ND\). Consequently, an essential research focus within the ambit of the Scaling Law involves strategizing an optimal allocation between model size and data size during the amplification of the computational budget, with the ultimate goal of achieving the most efficacious model configuration.
스케일링 법칙은 계산 예산 (Computational Budget) \(C\), 모델 크기 (Model Size) \(N\), 데이터 크기 \(D\)의 세 가지 중요한 차원을 확장함으로써 모델 성능을 예측적으로 향상시킨다는 가정을 전제로 합니다. 이 법칙은 모델 크기 \(N\)을 모델 파라미터의 수로 정량화하고 데이터 크기 \(D\)를 토큰 수로 측정할 때 계산 예산 \(C\)를 \(C=6ND\) 공식으로 효과적으로 근사화할 수 있다고 설명합니다. 따라서 스케일링 법칙의 핵심 연구 초점은 Computational Budget을 확장하는 동안 Model Size와 데이터 크기 사이의 최적 할당을 전략화하여 가장 효과적인 모델 구성을 달성하는 것입니다.
스케일링 법칙은 계산 예산(C), 모델 크기(N), 데이터 크기(D)의 세 가지 중요한 차원을 확장함으로써 모델 성능을 예측적으로 향상시킨다는 가정을 전제로 합니다. 이 법칙은 모델 크기 \(N\)을 모델 파라미터의 수로 정량화하고 데이터 크기 \(D\)를 토큰 수로 측정할 때 계산 예산 \(C\)를 \(C=6ND\) 공식으로 효과적으로 근사화할 수 있다고 설명합니다. 따라서 스케일링 법칙의 핵심 연구 초점은 계산 예산을 확장하는 동안 모델 크기와 데이터 크기 사이의 최적 할당을 전략화하여 가장 효과적인 모델 구성을 달성하는 것입니다.