This paper introduces MiniCPM, comprising two SLMs with 2.4 B and 1.2 B non-embedding parameters, respectively. These models demonstrate superior performance compared to their larger counterparts. Our training methodologies are scalable both in terms of model and data size, offering potential applicability in the development of LLMs. The introduction of our WSD scheduler is notable for promoting continuous training, exhibiting compelling training dynamics, and enabling efficient study of scaling law. We further introduce the MiniCPM family, including DPO, long context and MoE versions. Future directions include in-depth analysis of the loss decrease in the decay stage, and enhancing the capability of MiniCPM by scaling in both model size and data size.
이 백서에서는 각각 2.4 B 및 1.2 B의 비임베딩 파라미터를 가진 두 개의 SLM으로 구성된 MiniCPM을 소개합니다. 이 모델들은 더 큰 모델에 비해 우수한 성능을 보여줍니다. 저희의 훈련 방법론은 모델과 데이터 크기 측면에서 모두 확장 가능하며, Large Language Models (LLMs) 개발에 적용될 수 있는 잠재력을 제공합니다. WSD 스케줄러를 도입하여 지속적인 훈련을 촉진하고, 매력적인 훈련 동학을 보여주며, scaling law를 효율적으로 연구할 수 있게 되었습니다. 또한 DPO, 긴 문맥 및 MoE 버전을 포함한 MiniCPM 제품군을 소개합니다. 향후 방향으로는 감쇠 단계에서 loss 감소에 대한 심층 분석과 모델 크기와 데이터 크기 모두에서 확장하여 MiniCPM의 기능을 향상시키는 것이 있습니다.
이 백서에서는 각각 2.4 B 및 1.2 B의 비임베딩 파라미터를 가진 두 개의 SLM으로 구성된 MiniCPM을 소개합니다. 이 모델들은 더 큰 모델에 비해 우수한 성능을 보여줍니다. 저희의 훈련 방법론은 모델과 데이터 크기 측면에서 모두 확장 가능하며, LLM 개발에 적용될 수 있는 잠재력을 제공합니다. WSD 스케줄러를 도입하여 지속적인 훈련을 촉진하고, 매력적인 훈련 동학을 보여주며, 확장 법칙을 효율적으로 연구할 수 있게 되었습니다. 또한 DPO, 긴 문맥 및 MoE 버전을 포함한 MiniCPM 제품군을 소개합니다. 향후 방향으로는 감쇠 단계에서 손실 감소에 대한 심층 분석과 모델 크기와 데이터 크기 모두에서 확장하여 MiniCPM의 기능을 향상시키는 것이 있습니다.