Figure 5: Optimal ratio of training tokens to model parameters using our estimates. Shaded regions represent 80% confidence intervals. While our estimates are consistent with the scaling policy used for Chinchilla, their estimates of their parametric model are not.
그림 5: 추정치를 사용한 최적의 훈련 토큰 대 모델 파라미터 비율. 음영 처리된 영역은 80% 신뢰 구간을 나타냅니다. 우리의 추정치는 Chinchilla에 사용된 scaling 정책과 일치하지만, 그들의 파라메트릭 모델에 대한 추정치는 그렇지 않습니다.
그림 5: 추정치를 사용한 최적의 훈련 토큰 대 모델 파라미터 비율. 음영 처리된 영역은 80% 신뢰 구간을 나타냅니다. 우리의 추정치는 친칠라에 사용된 스케일링 정책과 일치하지만, 파라메트릭 모델에 대한 추정치는 그렇지 않습니다.