The burgeoning interest in developing Large Language Models (LLMs) with up to trillion parameters has been met with concerns regarding resource efficiency and practical expense, particularly given the immense cost of experimentation. This scenario underscores the importance of exploring the potential of Small Language Models (SLMs) as a resource-efficient alternative. In this context, we introduce MiniCPM, specifically the 1.2B and 2.4B non-embedding parameter variants, not only excel in their respective categories but also demonstrate capabilities on par with 7B-13B LLMs. While focusing on SLMs, our approach exhibits scalability in both model and data dimensions for future LLM research. Regarding model scaling, we employ extensive model wind tunnel experiments for stable and optimal scaling. For data scaling, we introduce a Warmup-Stable-Decay (WSD) learning rate scheduler (LRS), conducive to continuous training and domain adaptation. We present an in-depth analysis of the intriguing training dynamics that occurred in the WSD LRS. With WSD LRS, we are now able to efficiently study data-model scaling law without extensive retraining experiments on both axes of model and data, from which we derive the much higher compute optimal data-model ratio than Chinchilla Optimal. Additionally, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-MoE and MiniCPM-128K, whose excellent performance further cementing MiniCPM's foundation in diverse SLM applications. MiniCPM models are available publicly 1.
최대 수조 개의 파라미터를 가진 Large Language Models (LLMs)을 개발하는 데 대한 관심이 높아지면서 리소스 효율성과 실질적인 비용, 특히 실험에 드는 막대한 비용에 대한 우려가 제기되고 있습니다. 이러한 시나리오는 리소스 효율적인 대안으로서 Small Language Models (SLMs)의 잠재력을 탐구하는 것이 중요하다는 점을 강조합니다. 이러한 맥락에서 우리는 MiniCPM, 특히 1.2B 및 2.4B 비임베딩 파라미터 변형을 소개하는데, 이는 각 카테고리에서 탁월한 성능을 발휘할 뿐만 아니라 7B-13B LLM과 동등한 성능을 보여줍니다. SLM에 초점을 맞춘 접근 방식은 향후 LLM 연구를 위해 모델과 데이터 차원 모두에서 확장성을 보여줍니다. 모델 scaling과 관련하여, 우리는 안정적이고 최적의 scaling을 위해 광범위한 모델 윈드 터널 실험을 사용합니다. 데이터 scaling의 경우, 지속적인 훈련과 도메인 적응에 도움이 되는 Warmup-Stable-Decay (WSD) Learning Rate Scheduler (LRS)를 도입했습니다. WSD LRS에서 발생한 흥미로운 훈련 동학에 대한 심층 분석을 제시합니다. WSD LRS를 통해 모델과 데이터의 두 축에 대한 광범위한 재교육 실험 없이도 데이터-모델 scaling 법칙을 효율적으로 연구할 수 있게 되었으며, 이를 통해 Chinchilla Optimal보다 훨씬 높은 계산 최적 데이터-모델 비율을 도출할 수 있었습니다. 또한 MiniCPM-DPO, MiniCPM-MoE, MiniCPM-128K 등 MiniCPM 제품군을 소개하며, 이들의 우수한 성능은 다양한 SLM 애플리케이션에서 MiniCPM의 기반을 더욱 공고히 합니다. MiniCPM 모델은 공개적으로 사용할 수 있습니다.
최대 수조 개의 파라미터를 가진 대규모 언어 모델(LLM)을 개발하는 데 대한 관심이 높아지면서 리소스 효율성과 실질적인 비용, 특히 실험에 드는 막대한 비용에 대한 우려가 제기되고 있습니다. 이러한 시나리오는 리소스 효율적인 대안으로서 소규모 언어 모델(SLM)의 잠재력을 탐구하는 것이 중요하다는 점을 강조합니다. 이러한 맥락에서 우리는 미니CPM, 특히 1.2B 및 2.4B 비임베딩 파라미터 변형을 소개하는데, 이는 각 카테고리에서 탁월한 성능을 발휘할 뿐만 아니라 7B-13B LLM과 동등한 성능을 보여줍니다. SLM에 초점을 맞춘 접근 방식은 향후 LLM 연구를 위해 모델과 데이터 차원 모두에서 확장성을 보여줍니다. 모델 스케일링과 관련하여, 우리는 안정적이고 최적의 스케일링을 위해 광범위한 모델 윈드 터널 실험을 사용합니다. 데이터 스케일링의 경우, 지속적인 훈련과 도메인 적응에 도움이 되는 워머프-스테이블-디케이(WSD) 학습 속도 스케줄러(LRS)를 도입했습니다. WSD LRS에서 발생한 흥미로운 훈련 동학에 대한 심층 분석을 제시합니다. WSD LRS를 통해 모델과 데이터의 두 축에 대한 광범위한 재교육 실험 없이도 데이터-모델 스케일링 법칙을 효율적으로 연구할 수 있게 되었으며, 이를 통해 칭칠라 최적보다 훨씬 높은 계산 최적 데이터-모델 비율을 도출할 수 있었습니다. 또한 미니CPM-DPO, 미니CPM-MoE, 미니CPM-128K 등 미니CPM 제품군을 소개하며, 이들의 우수한 성능은 다양한 SLM 애플리케이션에서 미니CPM의 기반을 더욱 공고히 합니다. 미니CPM 모델은 공개적으로 사용할 수 있습니다.