**Small Language Models.** "Small Language Models" (SLMs) is an evolving concept that has undergone significant transformations over time. Presently, SLMs are generally construed as models that are smaller in scale compared to the well-known LLMs, typically not exceeding 7 billion parameters. These models are distinguished by their capacity for deployment on end-user devices, such as personal computers and smartphones, even in the absence of a GPU. Notable examples within the current landscape of SLMs include the Phi series (Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama (Zhang et al., 2024), MobileLLM (Liu et al., 2024), and Gemma (Banks and Warkentin, 2024), etc. A variety of methodologies have been explored to augment the efficacy of SLMs. These include the incorporation of high quality data (Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), the application of structure pruning techniques (Xia et al., 2023), and the reconfiguration of model architectures (Liu et al., 2024), among others. MiniCPMenhances the capabilities of SLMs through a meticulous amalgamation of hyper-parameter optimization, strategic training methodologies, architectural design, and high quality data.
**소규모 언어 모델**. "소규모 언어 모델"(SLM)은 시간이 지남에 따라 상당한 변화를 겪어온 진화하는 개념입니다. 현재 SLM은 일반적으로 잘 알려진 Large Language Models (LLMs)에 비해 규모가 작은 모델로, 일반적으로 파라미터가 70억 개를 넘지 않는 것으로 간주됩니다. 이러한 모델은 GPU가 없어도 개인용 컴퓨터나 스마트폰과 같은 최종 사용자 장치에 배포할 수 있는 것이 특징입니다. 현재 SLM의 대표적인 예로는 Phi 시리즈(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama(Zhang et al., 2024), MobileLLM(Liu et al., 2024), Gemma(Banks and Warkentin, 2024) 등이 있습니다. SLM의 효율성을 높이기 위해 다양한 방법론이 탐색되고 있습니다. 여기에는 고품질 데이터 통합(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), 구조 가지치 기법 적용(Xia et al., 2023), 모델 아키텍처 재구성(Liu et al., 2024) 등이 포함됩니다. MiniCPM은 하이퍼파라미터 최적화, 전략적 훈련 방법론, 아키텍처 설계, 고품질 데이터의 세심한 조합을 통해 SLM의 기능을 향상시킵니다.
**소규모 언어 모델**. "소규모 언어 모델"(SLM)은 시간이 지남에 따라 상당한 변화를 겪어온 진화하는 개념입니다. 현재 SLM은 일반적으로 잘 알려진 LLM에 비해 규모가 작은 모델로, 일반적으로 파라미터가 70억 개를 넘지 않는 것으로 간주됩니다. 이러한 모델은 GPU가 없어도 개인용 컴퓨터나 스마트폰과 같은 최종 사용자 장치에 배포할 수 있는 것이 특징입니다. 현재 SLM의 대표적인 예로는 Phi 시리즈(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama(Zhang et al., 2024), MobileLLM(Liu et al., 2024), Gemma(Banks and Warkentin, 2024) 등이 있습니다. SLM의 효율성을 높이기 위해 다양한 방법론이 탐색되고 있습니다. 여기에는 고품질 데이터 통합(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), 구조 가지치 기법 적용(Xia et al., 2023), 모델 아키텍처 재구성(Liu et al., 2024) 등이 포함됩니다. MiniCPM은 하이퍼파라미터 최적화, 전략적 훈련 방법론, 아키텍처 설계, 고품질 데이터의 세심한 조합을 통해 SLM의 기능을 향상시킵니다.