The residuals for our estimated scaling law are tightly concentrated around 0, indicating a substantially better fit. We find that 98% of our Huber loss values are smaller than the median loss value of Hoffmann et al, and that our model obtains lower losses for 90% of all observations. A likelihood ratio test enables us to confidently reject the hypothesis that Hoffman et al.'s estimate performs as well as our fit (\(p<10^{-135}\), see Appendix A.3). In other words, if our data reconstruction is correct, the Hoffmann et al. estimated scaling law fails to fit the data.
추정된 scaling law의 잔차는 0을 중심으로 촘촘하게 집중되어 있어 훨씬 더 나은 적합도를 나타냅니다. Huber loss 값의 98%가 Hoffmann 등의 중앙값 loss 값보다 작고, 모든 관측 값의 90%에 대해 모델이 더 낮은 loss를 얻는다는 것을 발견했습니다. 가능성 비율 테스트를 통해 Hoffmann 등의 추정치가 우리 모델만큼 잘 작동한다는 가설을 자신 있게 거부할 수 있습니다(\(p<10^{-135}\), 참조 A.3). 즉, 데이터 재구성이 정확하다면 Hoffmann 등의 추정 scaling law는 데이터에 맞지 않습니다.
추정된 스케일링 법칙의 잔차는 0을 중심으로 촘촘하게 집중되어 있어 훨씬 더 나은 적합도를 나타냅니다. Huber 손실 값의 98%가 Hoffmann 등의 중앙값 손실 값보다 작고, 모든 관측 값의 90%에 대해 모델이 더 낮은 손실을 얻는다는 것을 발견했습니다. 가능성 비율 테스트를 통해 호프만 등의 추정치가 우리 모델만큼 잘 작동한다는 가설을 자신 있게 거부할 수 있습니다(\(p<10^{-135}\), 참조 A.3). 즉, 데이터 재구성이 정확하다면 호프만 등의 추정 스케일링 법칙은 데이터에 맞지 않습니다.