Moreover, we introduce MiniCPM family, including MiniCPM-DPO, MiniCPM-128K, and MiniCPM-MoE. We conduct evaluations of MiniCPM family against established benchmarks and illuminate their impressive capabilities as SLMs: (1) The foundation models surpasses Mistral-7B, LLama-13B. (2) The dpo model surpasses zephyr-7B (Tunstall et al., 2023) on MTBench (Zheng et al., 2024) (3) The 2.4B MiniCPM-128K model demonstrates performance either surpassing or matching that of models like Yarn-Mistral-7B-128K (Peng et al., 2023) and ChatGLM3-6B-128K (Du et al., 2021). (4) The MiniCPM-MoE, with 4B activated parameters, is on par with Llama2-34B (Touvron et al., 2023).
게다가, 우리는 MiniCPM-DPO, MiniCPM-128K, MiniCPM-MoE를 포함한 MiniCPM 패밀리를 소개합니다. 우리는 확립된 벤치마크에 대해 MiniCPM 패밀리를 평가하고, 이들의 SLM으로서의 인상적인 능력을 조명합니다: (1) 기본 모델은 Mistral-7B, LLama-13B를 능가합니다. (2) dpo 모델은 MTBench (Zheng et al., 2024)에서 zephyr-7B (Tunstall et al., 2023)를 능가합니다. (3) 2.4B MiniCPM-128K 모델은 Yarn-Mistral-7B-128K (Peng et al., 2023) 및 ChatGLM3-6B-128K (Du et al., 2021)와 같은 모델의 성능을 능가하거나 일치하는 성능을 보여줍니다. (4) 4B 활성화 매개변수를 가진 MiniCPM-MoE는 Llama2-34B (Touvron et al., 2023)와 동등한 성능을 보입니다.
또한 MiniCPM-DPO, MiniCPM-128K, MiniCPM-MoE를 포함한 MiniCPM 제품군을 소개합니다. 기존 벤치마크에 대한 MiniCPM 제품군의 평가를 수행하고, 이 제품군이 SLM으로서의 인상적인 기능을 조명합니다: (1) 기반 모델은 Mistral-7B, LLama-13B를 능가합니다. (2) dpo 모델은 MTBench(Zheng et al., 2024)에서 zephyr-7B(Tunstall et al., 2023)를 능가합니다. (3) 2.4B MiniCPM-128K 모델은 Yarn-Mistral-7B-128K(Peng et al., 2023) 및 ChatGLM3-6B-128K(Du et al., 2021)와 같은 모델의 성능을 능가하거나 이에 필적하는 성능을 보여줍니다. (4) 활성화된 파라미터가 4B인 MiniCPM-MoE는 Llama2-34B(Touvron et al., 2023)와 동등한 수준입니다.