Following the empirical experiments in scaling laws [15; 21; 16], we further pre-train 28 relatively smaller models with different numbers of training tokens. The model sizes range from 300M, to 540M, 1B, 1.5B, 3B, and to 6B, while the numbers of pre-training tokens range from 33B to 500B. The learning rate schedule is set to reach the minimum at the corresponding token count, which is critical to the optimal performance [21; 16]. The number of tokens used and hyperparameters for all models are shown in Table 4 (Appendix).
스케일링 laws [15; 21; 16]의 경험적 실험에 이어, 우리는 훈련 토큰 수가 다른 상대적으로 작은 모델 28개를 추가로 사전 훈련합니다. 모델 크기는 300M에서 540M, 1B, 1.5B, 3B, 6B까지 다양하며, 사전 훈련 토큰 수는 33B에서 500B까지 다양합니다. Learning Rate 스케줄은 최적의 성능 [21; 16]에 중요한 해당 토큰 수에서 최소값에 도달하도록 설정됩니다. 모든 모델에 사용된 토큰 수와 하이퍼파라미터는 표 4(부록)에 나와 있습니다.
스케일링 법칙 [15; 21; 16]의 경험적 실험에 이어, 우리는 훈련 토큰 수가 다른 상대적으로 작은 모델 28개를 추가로 사전 훈련합니다. 모델 크기는 300M에서 540M, 1B, 1.5B, 3B, 6B까지 다양하며, 사전 훈련 토큰 수는 33B에서 500B까지 다양합니다. 학습 속도 스케줄은 최적의 성능 [21; 16]에 중요한 해당 토큰 수에서 최소값에 도달하도록 설정됩니다. 모든 모델에 사용된 토큰 수와 하이퍼파라미터는 표 4(부록)에 나와 있습니다.