The hyperparameters for training of 1.5B, 6B, and 32B models are shown in Table 3. The hyperparameters for training of smaller models are shown in Table 4. The sequence length is 2048 and the optimizer is AdamW [27] with \(\beta_{1}=0.9\) and \(\beta_{2}=0.95\).
1.5B, 6B, 32B 모델 학습을 위한 하이퍼파라미터는 표 3과 같다. 더 작은 모델의 학습을 위한 하이퍼파라미터는 표 4와 같다. 시퀀스 길이는 2048이고 Optimizer는 AdamW [27]이며 (\(\beta_{1}=0.9\), \(\beta_{2}=0.95\))이다.
1.5B, 6B, 32B 모델 학습을 위한 하이퍼파라미터는 표 3과 같다. 더 작은 모델의 학습을 위한 하이퍼파라미터는 표 4와 같다. 시퀀스 길이는 2048이고 최적화 도구는 AdamW [27]이며 (\beta_{1}=0.9, \beta_{2}=0.95)이다.