Hoffmann et al. (2022) propose three methods for estimating a compute-optimal scaling law. We attempt to replicate their third estimation procedure, which involves fitting a parametric loss function to a reconstruction of data from their plots. We find that the reported estimates are inconsistent with their first two estimation methods, fail at fitting the extracted data, and report implausibly narrow confidence intervals--intervals this narrow would require over 600,000 experiments, while they likely only ran fewer than 500. In contrast, our rederivation of the scaling law using the third approach yields results that are compatible with the findings from the first two estimation procedures described by Hoffmann et al.
Hoffmann 외(2022)는 계산 최적 scaling law를 추정하는 세 가지 방법을 제안합니다. 우리는 그들의 플롯에서 데이터를 재구성하기 위해 파라메트릭 Loss 함수를 맞추는 세 번째 추정 절차를 복제하려고 시도합니다. 보고된 추정치가 처음 두 가지 추정 방법과 일치하지 않고, 추출된 데이터에 맞추지 못하며, 믿을 수 없을 정도로 좁은 신뢰 구간을 보고하는 것을 발견했습니다(이 정도로 좁은 구간은 600,000개 이상의 실험이 필요하지만, 실제로는 500개 미만의 실험만 실행했을 가능성이 높습니다). 반면, 세 번째 접근 방식을 사용하여 scaling law를 다시 도출한 결과, Hoffmann 등이 설명한 처음 두 가지 추정 절차의 결과와 호환되는 결과를 얻었습니다.
Hoffmann 외(2022)는 계산 최적 스케일링 법칙을 추정하는 세 가지 방법을 제안합니다. 우리는 그들의 플롯에서 데이터를 재구성하기 위해 파라메트릭 손실 함수를 맞추는 세 번째 추정 절차를 복제하려고 시도합니다. 보고된 추정치가 처음 두 가지 추정 방법과 일치하지 않고, 추출된 데이터에 맞추지 못하며, 믿을 수 없을 정도로 좁은 신뢰 구간을 보고하는 것을 발견했습니다(이 정도로 좁은 구간은 600,000개 이상의 실험이 필요하지만, 실제로는 500개 미만의 실험만 실행했을 가능성이 높습니다). 반면, 세 번째 접근 방식을 사용하여 스케일링 법칙을 다시 도출한 결과, Hoffmann 등이 설명한 처음 두 가지 추정 절차의 결과와 호환되는 결과를 얻었습니다.