Estimating \(N_{c}\) and \(\alpha_{N}\).To estimate the two constant scalars, we can train a series of \(k\) models with various numbers of parameters (say, \(N=1M,10M,\ldots,10(k-1)M\)) on the _infinite training data_ until these models converge and obtain their final test losses. With these pairs of \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\), we can obtain \(k\) equations in the form of \(\alpha_{N}\log N_{c}-\alpha_{N}\log N_{i}-L_{i}=0\big{|}_{i=0}^{k-1}\), which are linear w.r.t. \(\alpha_{N}\) and \(\log N_{c}\). \(N_{c}\) and \(\alpha_{N}\) can then be estimated by parametric fitting using linear regression. In practice, we find that setting \(k=7\) is sufficient for an accurate estimation.
\(N_{c}\) 및 \(\alpha_{N}\) 추정. 두 개의 상수 스칼라를 추정하기 위해 다양한 수의 파라미터(예: \(N=1M,10M,\ldots,10(k-1)M\))를 가진 일련의 \(k\) 모델을 _무한 훈련 데이터_에 대해 훈련하여 이 모델이 수렴할 때까지 최종 테스트 Loss를 얻을 수 있습니다. 이러한 \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\) 쌍을 사용하여 \(\alpha_{N}\log N_{c}-\alpha_{N}\log N_{i}-L_{i}=0\big{|}_{i=0}^{k-1}\) 형식의 \(k\) 방정식을 구할 수 있으며, 이는 \(\alpha_{N}\) 및 \(\log N_{c}\)에 대해 선형입니다. 그런 다음 선형 회귀를 사용하여 파라메트릭 피팅을 통해 \(N_{c}\)와 \(\alpha_{N}\)을 추정할 수 있습니다. 실제로는 \(k=7\)을 설정해도 정확한 추정에 충분하다는 것을 알 수 있습니다.
N_{c}\) 및 \(\알파_{N}\) 추정.두 개의 상수 스칼라를 추정하기 위해 다양한 수의 파라미터(예: \(N=1M,10M,\ldots,10(k-1)M\))를 가진 일련의 \(k\) 모델을 _무한 훈련 데이터_에 대해 훈련하여 이 모델이 수렴할 때까지 최종 테스트 손실을 얻을 수 있습니다. 이러한 \((N_{0},L_{0}),\ldots,(N_{k-1},L_{k-1})\) 쌍을 사용하여 \(\alpha_{N}\log N_{c}-\alpha_{N}\log N_{i}-L_{i}=0\big{|}_{i=0}^{k-1}\) 형식의 \(k\) 방정식을 구할 수 있으며, 이는 \(\alpha_{N}\) 및 \(\log N_{c}\)에 대해 선형입니다. 그런 다음 선형 회귀를 사용하여 파라메트릭 피팅을 통해 \(N_{c}\)와 \(\alpha_{N}\)을 추정할 수 있습니다. 실제로는 \(k=7\)을 설정해도 정확한 추정에 충분하다는 것을 알 수 있습니다.