Determining \(N\) and \(S\)In practice, we often opt for the largest affordable model size and train the model until convergence. Nevertheless, this simplistic approach can deviate significantly from the optimal configuration and result in substantial resource wastage. Scaling laws provide a principled approach to choosing the optimal model size \(N\) and number of training steps \(S\) given a fixed computational budget \(C\)8. Given that Eq 3.13 already provides the precise relation between the loss \(L\), batch size \(B\), model size \(N\) and training steps \(S\), we could find the model size that minimizes \(L\) under the critical batch size (\(B=B_{crit}\)). This optimal \(N\) can be obtained by taking the derivative of Eq 3.13 w.r.t. \(N\) and setting it to \(0\).
N 및 S 결정. 실제로는 저희는 종종 가장 큰 규모의 모델을 선택하고 수렴할 때까지 모델을 훈련합니다. 그럼에도 불구하고 이러한 단순한 접근 방식은 최적의 구성에서 크게 벗어나 상당한 리소스 낭비를 초래할 수 있습니다. Scaling laws는 고정된 계산 예산 \(C\)8이 주어졌을 때 최적의 모델 크기 \(N\)과 훈련 단계 수 \(S\)를 선택하는 원칙적인 접근 방식을 제공합니다. 3.13은 이미 Loss \(L\), Batch Size \(B\), 모델 크기 \(N\), 훈련 단계 \(S\) 사이의 정확한 관계를 제공하므로, 임계 배치 크기(\(B=B_{crit}\))에서 \(L\)을 최소화하는 모델 크기를 찾을 수 있습니다. 이 최적의 \(N\)은 Eq 3.13의 도함수를 \(N\)에 대해 취하고 \(0\)으로 설정하여 구할 수 있습니다.
N$ 및 $S$ 결정실제로는 저희는 종종 가장 큰 규모의 모델을 선택하고 수렴할 때까지 모델을 훈련합니다. 그럼에도 불구하고 이러한 단순한 접근 방식은 최적의 구성에서 크게 벗어나 상당한 리소스 낭비를 초래할 수 있습니다. 스케일링 법칙은 고정된 계산 예산 \(C\)8이 주어졌을 때 최적의 모델 크기 \(N\)과 훈련 단계 수 \(S\)를 선택하는 원칙적인 접근 방식을 제공합니다. 3.13은 이미 손실 \(L\), 배치 크기 \(B\), 모델 크기 \(N\), 훈련 단계 \(S\) 사이의 정확한 관계를 제공하므로, 임계 배치 크기(\(B=B_{crit}\))에서 \(L\)을 최소화하는 모델 크기를 찾을 수 있습니다. 이 최적의 \(N\)은 Eq 3.13의 도함수를 \(N\)에 대해 취하고 \(0\)으로 설정하여 구할 수 있습니다.