Estimating \(S_{c}\) and \(\alpha_{S}\).Since the first term in Eq. 3.2 has been solved in Sec. 3.1, for any given model with \(N\) parameters, say \(N=1M\), we have \(L(1M,S)=C+\left(\frac{S_{c}}{S_{\min}}\right)^{\alpha_{S}}\), where \(C=\left(\frac{N_{c}}{1M}\right)^{\alpha_{N}}\) is a constant because each element in the equation is known. Now, if we can train the \(1M\)-parameter model with the _infinitely large batch size_ and an optimally set learning rate 6, many pairs of \((L,S_{\min})\) can be obtained. By taking the logarithm on both sizes of Eq. 3.2, we obtain equations which are linear to \(\alpha_{s}\) and \(\log S_{c}\). Again, we can estimate \(S_{c}\) and \(\alpha_{s}\) with linear regression.
\(S_{c}\) 및 \(\alpha_{S}\) 추정하기. 식 3.2의 첫 번째 항은 섹션 3.1에서 풀었으므로, 주어진 모델에서 \(N\) 매개변수(예: \(N=1M\))에 대해 다음과 같이 풀 수 있습니다, 여기서 \(C=\left(\frac{N_{c}}{1M}\right)^{\alpha_{N}}\)는 방정식의 각 요소가 알려져 있기 때문에 상수입니다. 이제 _무한히 큰 Batch Size_와 최적으로 설정된 Learning Rate 6으로 \(1M\) 매개변수 모델을 훈련할 수 있다면, 많은 쌍의 \((L,S_{\min})\)를 얻을 수 있습니다. 3.2의 양쪽 크기에 로그를 취하면 \(\alpha_{s}\)와 \(\log S_{c}\)에 선형인 방정식을 얻을 수 있습니다. 다시 선형 회귀로 \(S_{c}\)와 \(\alpha_{s}\)를 추정할 수 있습니다.
S_{c}\) 및 \(\alpha_{S}\) 추정하기. 식 3.2의 첫 번째 항은 섹션 3.1에서 풀었으므로, 주어진 모델에서 \(N\) 매개변수(예: \(N=1M\))에 대해 다음과 같이 풀 수 있습니다, 여기서 \(C=\left(\frac{N_{c}}{1M}\right)^{\alpha_{N}}\)는 방정식의 각 요소가 알려져 있기 때문에 상수입니다. 이제 _무한히 큰 배치 크기_와 최적으로 설정된 학습률 6으로 \(1M\) 매개변수 모델을 훈련할 수 있다면, 많은 쌍의 \((L,S_{\min})\)를 얻을 수 있습니다. 3.2의 양쪽 크기에 로그를 취하면 \(\alpha_{s}\)와 \(\log S_{c}\)에 선형인 방정식을 얻을 수 있습니다. 다시 선형 회귀로 \(S_{c}\)와 \(\alpha_{s}\)를 추정할 수 있습니다.