We partially reconstruct the dataset from Hoffmann et al. and attempt to replicate Approach 3. This involves fitting a parametric function to model the final pre-training loss as \(L(N,D)=E+\frac{A}{N^{a}}+\frac{B}{D^{2}}\), where \(N\) represents the number of model parameters and \(D\) represents the number of training tokens. Our analysis reveals that our estimated model differs substantially from the fit reported in Hoffmann et al., and that their fit fails to adequately describe the reconstructed data. We demonstrate that the confidence intervals reported by Hoffmann et al. are implausibly tight and unlikely to be obtained from proper statistical procedures given the size of their dataset. Finally, we finally show that their fit is inconsistent with the scaling policies derived through other approaches, and with the scaling policy suggested by our fit.
Hoffmann 등의 데이터 세트를 부분적으로 재구성하고 접근 방식 3을 복제해 보았습니다. 여기에는 파라메트릭 함수를 맞춤으로써 최종 사전 학습 Loss를 \(L(N,D)=E+\frac{A}{N^{a}}+\frac{B}{D^{2}}\)로 모델링하는 것이 포함되며, 여기서 \(N\)은 모델 파라미터의 수를 나타내고 \(D\)는 학습 토큰의 수를 나타냅니다. 분석 결과, 우리가 추정한 모델은 Hoffmann 등의 연구에서 보고한 적합도와 크게 다르며, 그 적합도가 재구성된 데이터를 적절히 설명하지 못하는 것으로 나타났습니다. Hoffmann 등이 보고한 신뢰 구간은 믿을 수 없을 정도로 촘촘하며, 데이터 세트의 규모를 고려할 때 적절한 통계 절차를 통해 얻을 수 없을 것으로 보입니다. 마지막으로, 그들의 적합도가 다른 접근 방식을 통해 도출된 Scaling policies 및 우리의 적합도가 제안하는 Scaling policy와 일치하지 않는다는 것을 보여줍니다.
Hoffmann 등의 데이터 세트를 부분적으로 재구성하고 접근 방식 3을 복제해 보았습니다. 여기에는 파라메트릭 함수를 맞춤으로써 최종 사전 학습 손실을 \(L(N,D)=E+\frac{A}{N^{a}}+\frac{B}{D^{2}}\)로 모델링하는 것이 포함되며, 여기서 \(N\)은 모델 파라미터의 수를 나타내고 \(D\)는 학습 토큰의 수를 나타냅니다. 분석 결과, 우리가 추정한 모델은 Hoffmann 등의 연구에서 보고한 적합도와 크게 다르며, 그 적합도가 재구성된 데이터를 적절히 설명하지 못하는 것으로 나타났습니다. Hoffmann 등이 보고한 신뢰 구간은 믿을 수 없을 정도로 촘촘하며, 데이터 세트의 규모를 고려할 때 적절한 통계 절차를 통해 얻을 수 없을 것으로 보입니다. 마지막으로, 그들의 적합도가 다른 접근 방식을 통해 도출된 확장 정책 및 우리의 적합도가 제안하는 확장 정책과 일치하지 않는다는 것을 보여줍니다.