**Stable Training Stage.** We utilize around 1T data (see Section 11 for data distribution), with the majority of the data sourced from open datasets. We use the optimal configuration discovered during the model wind tunnel experiments, WSD LRS, with a batch size of 3.93 million and a max learning rate of 0.01.
**안정적인 훈련 단계.** 약 1T 데이터(데이터 분포는 섹션 11 참조)를 활용하며, 대부분의 데이터는 오픈 데이터 세트에서 가져옵니다. 모델 윈드 터널 실험에서 발견된 최적의 구성인 WSD LRS를 사용하며, Batch Size는 393만 개, 최대 Learning Rate는 0.01입니다.
**안정적인 훈련 단계.** 약 1T 데이터(데이터 분포는 섹션 11 참조)를 활용하며, 대부분의 데이터는 오픈 데이터 세트에서 가져옵니다. 모델 윈드 터널 실험에서 발견된 최적의 구성인 WSD LRS를 사용하며, 배치 크기는 393만 개, 최대 학습 속도는 0.01입니다.