\begin{table}
\begin{tabular}{|c|c|c|c|c|c|c|} \hline Parameter & \(\alpha_{N}\) & \(\alpha_{S}\) & \(\alpha_{B}\) & \(N_{c}\) & \(S_{c}\) & \(B_{*}\) \\ \hline \hline C4 Value & \(0.076\) & \(0.67\) & \(0.205\) & \(1.5\times 10^{14}\) & \(2.6\times 10^{3}\) & \(1.7\times 10^{8}\) \\ \hline
**[dataset as the test set and performed a deduplication process to ensure the removal of any overlapping text from the training set. In total, we trained only 10 small models, each with a maximum of 60M parameters, to estimate the constant terms of the scaling-law formulas. The estimated constant terms are presented in Table 1. The actual and predicted loss trajectories of a 2B model (30 times larger than the small model used to estimate the constant terms) using the estimated formulas are depicted on the left of Figure 1. It can be observed that the predicted loss trajectory closely aligns with the actual loss trajectory. Our estimated constant terms are also not far from those estimated in [10] despite using different setups, possibly due to the similar distributions of C4 and WebText, both of which consist of crawled website text. This reinforces the assertion in [11] that the power term in scaling laws primarily relies on the data manifold.
\begin{table}
\begin{tabular}{|c|c|c|c|c|c|c|} \hline Parameter & \(\alpha_{N}\) & \(\alpha_{S}\) & \(\alpha_{B}\) & \(N_{c}\) & \(S_{c}\) & \(B_{*}\) \\ \hline \hline C4 Value & \(0.076\) & \(0.67\) & \(0.205\) & \(1.5\times 10^{14}\) & \(2.6\times 10^{3}\) & \(1.7\times 10^{8}\) \\ \hline
**[데이터 세트를 테스트 세트로 사용하고 중복된 텍스트가 학습 세트에서 제거되도록 중복 제거 프로세스를 수행했습니다. 총 10개의 소형 모델만 학습했으며, 각 모델의 최대 파라미터는 60M에 불과했습니다. Scaling-law 공식의 상수 항을 추정하기 위해 학습했습니다. 추정된 상수 항은 표 1에 나와 있습니다. 추정된 공식을 사용하여 20억 모델(상수 항 추정에 사용된 소형 모델보다 30배 큰 모델)의 실제 Loss 궤적과 예측된 Loss 궤적이 그림 1의 왼쪽에 나와 있습니다. 예측된 Loss 궤적이 실제 Loss 궤적과 매우 유사하게 일치하는 것을 볼 수 있습니다. 또한 크롤링된 웹사이트 텍스트로 구성된 C4와 WebText의 유사한 분포로 인해 추정된 상수 항이 [10]에서 추정된 것과 크게 다르지 않습니다. 이는 Scaling laws의 거듭제곱 항이 주로 데이터 매니폴드에 의존한다는 [11]의 주장을 강화합니다.
\begin{table}
\begin{tabular}{|c|c|c|c|c|c|c|} \hline Parameter & \(\alpha_{N}\) & \(\alpha_{S}\) & \(\alpha_{B}\) & \(N_{c}\) & \(S_{c}\) & \(B_{*}\) \\ \hline \hline C4 Value & \(0.076\) & \(0.67\) & \(0.205\) & \(1.5\times 10^{14}\) & \(2.6\times 10^{3}\) & \(1.7\times 10^{8}\) \\ \hline
**[데이터 세트를 테스트 세트로 사용하고 중복된 텍스트가 학습 세트에서 제거되도록 중복 제거 프로세스를 수행했습니다. 총 10개의 소형 모델만 학습했으며, 각 모델의 최대 파라미터는 60M에 불과했습니다. 스케일링 법칙 공식의 상수 항을 추정하기 위해 학습했습니다. 추정된 상수 항은 표 1에 나와 있습니다. 추정된 공식을 사용하여 20억 모델(상수 항 추정에 사용된 소형 모델보다 30배 큰 모델)의 실제 손실 궤적과 예측된 손실 궤적이 그림 1의 왼쪽에 나와 있습니다. 예측된 손실 궤적이 실제 손실 궤적과 매우 유사하게 일치하는 것을 볼 수 있습니다. 또한 크롤링된 웹사이트 텍스트로 구성된 C4와 웹텍스트의 유사한 분포로 인해 추정된 상수 항이 [10]에서 추정된 것과 크게 다르지 않습니다. 이는 스케일링 법칙의 거듭제곱 항이 주로 데이터 매니폴드에 의존한다는 [11]의 주장을 강화합니다.