In this paper, we introduce MiniCPM, a series of SLMs, which primarily builds on two models, endowed with 2.4B and 1.2B non-embedding parameters respectively, and they rank preeminently in their respective 2B and 1B scale categories. MiniCPM also exhibits comparable capabilities to those of 7B\(\sim\)13B language models, such as Llama2-7B (Touvron et al., 2023), Mistral-7B (Jiang et al., 2023), Gemma-7B (Banks and Warkentin, 2024), and Llama-13B (Touvron et al., 2023), etc. Notwithstanding their small model sizes, our training methodology is meticulously designed to facilitate seamless scaling of both model scale and data horizons. This is exemplified through our model wind tunnel experiments that encompasses comprehensive hyper-parameter optimization (Section 3), and the deployment of a WSD (Warmup-Stable-Decay) learning rate scheduler (Section 4). The latter is tailored for continuous training with an un-predefined pre-training token number, and makes the reusing of model intermediate checkpoints highly feasible. A detailed analysis of the training dynamics of MiniCPM is presented, suggesting that the WSD scheduler demonstrates the intriguing loss landscape of model pre-training. With WSD scheduler, we are now also capable of studying the data-model scaling law with linear effort on model axis and a negligible effort on data axis, while the traditional ones need quadratic effort considering the scaling along both model and data axes. The result of scaling law indicates a much higher data size / model size ratio compared with Chinchilla Optimal (Hoffmann et al., 2022).
이 백서에서는 주로 2.4B와 1.2B의 비임베딩 파라미터를 갖춘 두 가지 모델을 기반으로 하는 일련의 SLM인 MiniCPM을 소개하며, 각각의 2B 및 1B 규모 범주에서 우수한 순위를 차지하고 있습니다. 또한 MiniCPM은 Llama2-7B(Touvron et al., 2023), Mistral-7B(Jiang et al., 2023), Gemma-7B(Banks and Warkentin, 2024), Llama-13B(Touvron et al., 2023) 등 7B~13B Large Language Models (LLMs)과 비슷한 성능을 보여줍니다. 모델 크기가 작더라도, 저희의 훈련 방법론은 모델 규모와 데이터 지평선을 원활하게 확장할 수 있도록 세심하게 설계되었습니다. 이는 포괄적인 하이퍼파라미터 최적화(섹션 3)를 포함하는 모델 윈드 터널 실험과 WSD(Warmup-Stable-Decay) Learning Rate 스케줄러(섹션 4)를 통해 구현됩니다. 후자는 미리 정의되지 않은 사전 학습 토큰 수로 연속 학습을 위해 맞춤화되었으며, 모델 중간 체크포인트의 재사용이 매우 용이합니다. MiniCPM의 훈련 동역학에 대한 자세한 분석이 제시되어 있으며, 이는 WSD 스케줄러가 모델 사전 훈련의 흥미로운 Loss 환경을 보여준다는 것을 시사합니다. WSD 스케줄러를 통해 이제 모델 축의 선형 노력과 데이터 축의 무시할 수 있는 노력으로 데이터-모델 Scaling Law를 연구할 수 있게 되었으며, 기존 방법은 모델과 데이터 축 모두를 따라 스케일링해야 하므로 이차적인 노력이 필요합니다. Scaling Law의 결과는 Chinchilla Optimal(Hoffmann et al., 2022)과 비교했을 때 데이터 크기/모델 크기 비율이 훨씬 더 높다는 것을 나타냅니다.
이 백서에서는 주로 2.4B와 1.2B의 비임베딩 파라미터를 갖춘 두 가지 모델을 기반으로 하는 일련의 SLM인 MiniCPM을 소개하며, 각각의 2B 및 1B 규모 범주에서 우수한 순위를 차지하고 있습니다. 또한 MiniCPM은 Llama2-7B(Touvron et al., 2023), Mistral-7B(Jiang et al., 2023), Gemma-7B(Banks and Warkentin, 2024), Llama-13B(Touvron et al., 2023) 등 7B\(\sim\)13B 언어 모델과 비슷한 성능을 보여줍니다. 모델 크기가 작더라도, 저희의 훈련 방법론은 모델 규모와 데이터 지평선을 원활하게 확장할 수 있도록 세심하게 설계되었습니다. 이는 포괄적인 하이퍼파라미터 최적화(섹션 3)를 포함하는 모델 윈드 터널 실험과 WSD(Warmup-Stable-Decay) 학습 속도 스케줄러(섹션 4)를 통해 구현됩니다. 후자는 미리 정의되지 않은 사전 학습 토큰 수로 연속 학습을 위해 맞춤화되었으며, 모델 중간 체크포인트의 재사용이 매우 용이합니다. MiniCPM의 훈련 동역학에 대한 자세한 분석이 제시되어 있으며, 이는 WSD 스케줄러가 모델 사전 훈련의 흥미로운 손실 환경을 보여준다는 것을 시사합니다. WSD 스케줄러를 통해 이제 모델 축의 선형 노력과 데이터 축의 무시할 수 있는 노력으로 데이터-모델 스케일링 법칙을 연구할 수 있게 되었으며, 기존 방법은 모델과 데이터 축 모두를 따라 스케일링해야 하므로 이차적인 노력이 필요합니다. 스케일링 법칙의 결과는 친칠라 최적(Hoffmann et al., 2022)과 비교했을 때 데이터 크기/모델 크기 비율이 훨씬 더 높다는 것을 나타냅니다.