**Training.** Similar to MiniCPM, we employ WSD as our learning rate scheduler. Regarding the training data, we adhere strictly to the distribution specified in Section 6.3. The training batch size is maintained at 4M tokens during the stable training and decay stages and is reduced to 2M tokens during the STF stage. The pre-training phase (including continue pre-train and decay stage) spans 130K steps, after which we notice diminishing improvement. The benchmark results are detailed in Table 6.
**Training.** MiniCPM과 유사하게, 우리는 WSD를 Learning Rate 스케줄러로 사용합니다. 훈련 데이터와 관련하여, 우리는 섹션 6.3에 명시된 분포를 엄격하게 준수합니다. 훈련 Batch Size는 안정적인 훈련 및 감쇠 단계에서는 4M 토큰으로 유지되며, STF 단계에서는 2M 토큰으로 감소합니다. 사전 훈련 단계(계속 사전 훈련 및 감쇠 단계 포함)는 130K 단계에 걸쳐 진행되며, 그 이후에는 개선 효과가 줄어드는 것을 확인할 수 있습니다. 벤치마크 결과는 표 6에 자세히 나와 있습니다.
**훈련**. MiniCPM과 유사하게, 우리는 WSD를 학습 속도 스케줄러로 사용합니다. 훈련 데이터와 관련하여, 우리는 섹션 6.3에 명시된 분포를 엄격하게 준수합니다. 훈련 배치 크기는 안정적인 훈련 및 감쇠 단계에서는 4M 토큰으로 유지되며, STF 단계에서는 2M 토큰으로 감소합니다. 사전 훈련 단계(계속 사전 훈련 및 감쇠 단계 포함)는 13만 단계에 걸쳐 진행되며, 그 이후에는 개선 효과가 줄어드는 것을 확인할 수 있습니다. 벤치마크 결과는 표 6에 자세히 나와 있습니다.