Our work further highlights the uncertainty about compute-optimal scaling. In our plotted range of compute-optimal scaling policies (see Figure 5), we find that our fitted model is consistent with a ratio of tokens to parameters between 4 and 40 at models train on 1e26 FLOP or more. Getting tighter estimates before running experiments of this magnitude would, in expectation, save a meaningful fraction of that amount of compute.
우리의 작업은 compute-optimal scaling에 대한 불확실성을 더욱 강조합니다. 플롯된 compute-optimal scaling 정책의 범위(그림 5 참조)에서, 우리는 1e26 FLOP 이상으로 학습된 모델에서 4에서 40 사이의 파라미터 대 토큰 비율과 일치하는 것으로 나타났습니다. 이 정도의 실험을 실행하기 전에 더 긴밀한 추정치를 얻으면 예상대로 그 양의 상당 부분을 절약할 수 있습니다.
우리의 작업은 컴퓨팅 최적화 스케일링에 대한 불확실성을 더욱 강조합니다. 플롯된 컴퓨팅 최적화 스케일링 정책의 범위(그림 5 참조)에서, 우리는 1e26 FLOP 이상으로 학습된 모델에서 4에서 40 사이의 파라미터 대 토큰 비율과 일치하는 것으로 나타났습니다. 이 정도의 실험을 실행하기 전에 더 긴밀한 추정치를 얻으면 예상대로 그 양의 상당 부분을 절약할 수 있습니다.