In Figure 0(b), we fit a scaling law in the style of Hoffmann et al. (2022) on data points from models ranging from 410M parameters, only optimizing for model-related constants (\(A\) and \(\alpha\)) while reusing all other values (\(B=410.7\), \(\beta=0.28\), \(E=1.69\)). We recall the relation between parameter count \(N\) and token count \(T\) given in Hoffmann et al.
그림 0(b)에서는 410M 파라미터 범위의 모델 데이터 포인트에 대해 Hoffmann 등(2022) 스타일의 scaling law를 적용하여 모델 관련 상수(\(A\) 및 \(\alpha\))만 최적화하고 다른 모든 값(\(B=410.7\), \(\beta=0.28\), \(E=1.69\))을 재사용합니다. Hoffmann 등에서 주어진 파라미터 수 \(N\)과 토큰 수 \(T\) 사이의 관계를 상기합니다.
그림 0(b)에서는 410M 파라미터 범위의 모델 데이터 포인트에 대해 호프만 등(2022) 스타일의 스케일링 법칙을 적용하여 모델 관련 상수(\(A\) 및 \(\alpha\))만 최적화하고 다른 모든 값(\(B=410.7\), \(\beta=0.28\), \(E=1.69\))을 재사용합니다. 호프만 등에서 주어진 파라미터 수 \(N\)과 토큰 수 \(T\) 사이의 관계를 상기합니다.