**Training.** Similar to MiniCPM, MiniCPM-2.4B-128K utilizes the WSD as its learning rate scheduler and reuses the last checkpoint of the stable training stage of MiniCPM-2.4B. Concerning training data, we categorize the dataset distribution detailed in Section 6.3 into "short data" and "long data". We classify books, wikis, and papers as "long data", and the other as the "short data". The training comprises 44% long data and 56% short data for continued training. For the extension of long contexts, we apply Adjusted Base Frequency (ABF) (Xiong et al., 2023) in the 4K to 32k range and employ NTK-Aware RoPE Scaling (bloc97, 2023) and curriculum learning from 32K to 128K. Both two stages involves future training. Furthermore, as indicated in Yi Tech Report (Young et al., 2024) and Zebra (Song et al., 2023), we use of synthetic long QA data that significantly enhances model performance in context-aware tasks.
**Training**. MiniCPM과 마찬가지로 MiniCPM-2.4B-128K는 WSD를 Learning Rate scheduler로 사용하고 MiniCPM-2.4B의 안정적인 학습 단계의 마지막 checkpoint를 재사용합니다. 학습 데이터와 관련하여, 섹션 6.3에 자세히 설명된 데이터 세트 분포를 "short data"와 "long data"로 분류합니다. 책, wikis, 논문은 "long data"로 분류하고, 그 외는 "short data"로 분류합니다. 학습은 44%의 long data와 56%의 short data로 구성되며, long data는 계속 학습에 사용됩니다. 긴 문맥의 확장을 위해 4K~32k 범위에서 Adjusted Base Frequency (ABF)(Xiong et al., 2023)를 적용하고, 32K~128K에서는 NTK-Aware RoPE Scaling(bloc97, 2023)과 curriculum learning을 사용합니다. 두 단계 모두 향후 training이 포함됩니다. 또한 Yi Tech Report(Young et al., 2024) 및 Zebra(Song et al., 2023)에서 언급했듯이, 문맥 인식 작업에서 모델 성능을 크게 향상시키는 synthetic long QA 데이터를 사용합니다.
**트레이닝**. MiniCPM과 마찬가지로 MiniCPM-2.4B-128K는 WSD를 학습 속도 스케줄러로 사용하고 MiniCPM-2.4B의 안정적인 학습 단계의 마지막 체크포인트를 재사용합니다. 학습 데이터와 관련하여, 섹션 6.3에 자세히 설명된 데이터 세트 분포를 "단기 데이터"와 "장기 데이터"로 분류합니다. 책, 위키, 논문은 "장문 데이터"로 분류하고, 그 외는 "단문 데이터"로 분류합니다. 학습은 44%의 장문 데이터와 56%의 단문 데이터로 구성되며, 장문 데이터는 계속 학습에 사용됩니다. 긴 문맥의 확장을 위해 4K~32k 범위에서 조정된 기본 주파수(ABF)(Xiong et al., 2023)를 적용하고, 32K~128K에서는 NTK 인식 RoPE 스케일링(bloc97, 2023)과 커리큘럼 학습을 사용합니다. 두 단계 모두 향후 교육이 포함됩니다. 또한 Yi Tech Report(Young et al., 2024) 및 Zebra(Song et al., 2023)에서 언급했듯이, 문맥 인식 작업에서 모델 성능을 크게 향상시키는 합성 장문 QA 데이터를 사용합니다.