In our experiments, the fitted relationship between loss and \(N\), \(D\) is shown in the contour plot of equal loss in Figure 10. The equation of fitted scaling law is shown in the first text box in each subplot. We can see that in all evaluation corpora, we have \(\beta<\alpha\). More specifically, on average, we have \(\alpha=0.29\), \(\beta=0.23,K^{2}=0.01,\eta=-0.10\). Since \(\alpha\) is slightly larger than \(\beta\), this result shows that as the computation scale, we should slightly emphasize more on data scaling than model scaling, which aligns with Hoffmann et al. (2022).
실험에서 loss와 \(N\), \(D\) 사이의 적합 관계는 그림 10의 동일한 loss의 등고선 플롯에 나와 있습니다. 적합 scaling law의 방정식은 각 하위 플롯의 첫 번째 텍스트 상자에 나와 있습니다. 모든 평가 말뭉치에서 \(\beta<\alpha\)임을 알 수 있습니다. 보다 구체적으로, 평균적으로 \(\alpha=0.29\), \(\beta=0.23,K^{2}=0.01,\eta=-0.10\)이 있습니다. \(\alpha\)가 \(\beta\)보다 약간 크므로 이 결과는 계산 규모로서 모델 규모보다 데이터 규모를 약간 더 강조해야 함을 보여 주며, 이는 Hoffmann 외(2022)와 일치합니다.
실험에서 손실과 \(N\), \(D\) 사이의 적합 관계는 그림 10의 동일한 손실의 등고선 플롯에 나와 있습니다. 적합 스케일링 법칙의 방정식은 각 하위 플롯의 첫 번째 텍스트 상자에 나와 있습니다. 모든 평가 말뭉치에서 \(\베타<\알파\)임을 알 수 있습니다. 보다 구체적으로, 평균적으로 \(\알파=0.29\), \(\베타=0.23,K^{2}=0.01,\eta=-0.10\)이 있습니다. 알파가 베타보다 약간 크므로 이 결과는 계산 규모로서 모델 규모보다 데이터 규모를 약간 더 강조해야 함을 보여 주며, 이는 Hoffmann 외(2022)와 일치합니다.