The overall evaluation results are in Table 4. Overall, on the mentioned datasets, we have several observations. (1) On average, MiniCPM-2.4B ranks the highest among all the SLMs. (2) MiniCPM-2.4B performs similarly to Mistral-7B-v0.1 in English but significantly outperforms Mistral-7B-v0.1 in Chinese. (3) MiniCPM-2.4B outperforms Llama2-13B except in MMLU, BBH, and HellaSwag, while MiniCPM-1.2B outperforms Llama2-7B except in HellaSwag. (4)Generally, BBH are harder for SLMs than LLMs compared to other knowledge oriented dataset, demonstrating that reasoning ability might be more dependent on model size than than knowledge. (5) Among SLMs, Phi-2 performance on par with MiniCPM on academic oriented datasets. This might be because their training data mostly involves text book style data that emphasize on educational and academic scenarios. Since our pre-training data is covers more distribution, we think MiniCPM is better at knowledge and ability coverage, which can bee seen in Appendix G.
전체 평가 결과는 표 4에 나와 있습니다. 전반적으로, 언급된 데이터셋에서 몇 가지 관찰을 할 수 있습니다. (1) 평균적으로, MiniCPM-2.4B는 모든 SLM 중에서 가장 높은 순위를 차지합니다. (2) MiniCPM-2.4B는 영어에서는 Mistral-7B-v0.1과 유사한 성능을 보이지만, 중국어에서는 Mistral-7B-v0.1을 크게 능가합니다. (3) MiniCPM-2.4B는 MMLU, BBH, HellaSwag을 제외하고 Llama2-13B를 능가하며, MiniCPM-1.2B는 HellaSwag을 제외하고 Llama2-7B를 능가합니다. (4) 일반적으로, BBH는 다른 지식 지향 데이터셋에 비해 SLM에게 LLM보다 더 어렵습니다. 이는 추론 능력이 지식보다 모델 크기에 더 의존할 수 있음을 보여줍니다. (5) SLM 중에서 Phi-2는 학문 지향 데이터셋에서 MiniCPM과 동등한 성능을 보입니다. 이는 그들의 훈련 데이터가 주로 교육 및 학문 시나리오를 강조하는 교과서 스타일의 데이터를 포함하기 때문일 수 있습니다. 우리의 사전 훈련 데이터는 더 다양한 분포를 포함하기 때문에, MiniCPM이 지식 및 능력 범위에서 더 우수하다고 생각하며, 이는 부록 G에서 확인할 수 있습니다.
전체 평가 결과는 표 4와 같습니다. 전반적으로 언급된 데이터 세트에서 몇 가지 관찰 사항이 있습니다. (1) MiniCPM-2.4B는 모든 SLM 중에서 평균적으로 가장 높은 순위를 차지합니다. (2) MiniCPM-2.4B는 영어에서 Mistral-7B-v0.1과 비슷한 성능을 보이지만 중국어에서는 Mistral-7B-v0.1보다 훨씬 뛰어납니다. (3) MiniCPM-2.4B는 MMLU, BBH, HellaSwag를 제외한 모든 분야에서 Llama2-13B보다 성능이 우수하며, MiniCPM-1.2B는 HellaSwag를 제외한 모든 분야에서 Llama2-7B보다 성능이 우수합니다. (4) 일반적으로 BBH는 다른 지식 지향 데이터 세트에 비해 LLM보다 SLM이 더 어렵기 때문에 추론 능력은 지식보다 모델 크기에 더 의존할 수 있음을 보여줍니다. (5) SLM 중에서 Phi-2는 학문 지향 데이터 세트에서 MiniCPM과 동등한 성능을 보입니다. 이는 학습 데이터가 대부분 교육 및 학업 시나리오를 강조하는 교과서 스타일의 데이터를 포함하기 때문일 수 있습니다. 사전 학습 데이터가 더 많은 분포를 포함하기 때문에 MiniCPM이 지식과 능력 커버리지에 더 능숙하다고 생각하며, 이는 부록 G에서 확인할 수 있습니다.