The key result is that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled.
주요 결과는 compute-optimal training의 경우 모델 크기와 훈련 토큰 수를 동일하게 확장해야 한다는 것입니다. 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어야 합니다.
주요 결과는 계산 최적화 훈련의 경우 모델 크기와 훈련 토큰 수를 동일하게 확장해야 한다는 것입니다. 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어야 합니다.