In the first experiment, we train three models with 1.5B, 6B, and 32B parameters and observe their behaviors until trained on 3T, 3T, and 2.5T tokens, respectively. The training hyperparameters are shown in Table 3 (Appendix).
첫 번째 실험에서는 1.5B, 6B, 32B 파라미터로 세 개의 모델을 학습시키고 각각 3T, 3T, 2.5T 토큰으로 학습될 때까지 그들의 동작을 관찰한다. Training hyperparameters는 표 3(부록)과 같다.
첫 번째 실험에서는 1.5B, 6B, 32B 파라미터로 세 개의 모델을 학습시키고 각각 3T, 3T, 2.5T 토큰으로 학습될 때까지 그들의 동작을 관찰한다. 학습 하이퍼파라미터는 표 3(부록)과 같다.