 \hline \hline \end{tabular}
\end{table}
Table 4: Hyperparameters of pre-training of smaller models. Each line represents one model pre-trained completely from scratch with the certain number of tokens and its corresponding learning rate schedule.
\hline \hline \end{tabular}
\end{table}
표 4: 소형 모델의 사전 학습 하이퍼파라미터. 각 줄은 특정 토큰 수와 그에 해당하는 Learning Rate 일정으로 처음부터 완전히 사전 학습된 하나의 모델을 나타냅니다.
\hline \hline \end{tabular}
\end{table}
표 4: 소형 모델의 사전 학습 하이퍼파라미터. 각 줄은 특정 토큰 수와 그에 해당하는 학습 속도 일정으로 처음부터 완전히 사전 학습된 하나의 모델을 나타냅니다.