Comparing our model's performance on both English and Chinese benchmarks with other models reveals a notably smaller gap in performance across multi-disciplinary datasets such as MMLU and CMMLU, as shown in Table 2. While other models exhibit significant disparities, particularly in language understanding and reasoning benchmarks, our model maintains a consistent performance, suggesting a balanced capability across diverse domains. This contrasts with other models that show pronounced variability, such as in the HellaSwag dataset, where our model closely rivals or outperforms alternatives like MiniCPM (min, 2024) and Phi-2, showcasing superior or competitive reasoning abilities. Similarly, in domain-specific evaluations (C-Eval and CMMLU), our model demonstrates commonable performance, outpacing models like TinyLlama-1.1B and Bloom-1.7B in comprehending and generating content that requires a nuanced understanding of cultural and domain-specific contexts. This balanced proficiency underscores the model's versatility and adaptability, positioning it as a strong contender in the landscape of AI language models, with a capacity for both broad applicability and deep, domain-specific knowledge.
표 2와 같이 영어 및 중국어 벤치마크 모두에서 다른 모델과 비교한 결과, MMLU 및 CMMLU와 같은 다양한 분야의 데이터 세트에서 성능 차이가 현저히 작다는 것을 알 수 있습니다. 다른 모델들은 특히 language understanding 및 reasoning 벤치마크에서 상당한 차이를 보이는 반면, 저희 모델은 일관된 성능을 유지하여 다양한 영역에서 균형 잡힌 역량을 갖추고 있음을 시사합니다. 이는 HellaSwag 데이터 세트에서처럼 우리 모델이 MiniCPM(최소, 2024) 및 Phi-2와 같은 다른 모델에 근접하거나 능가하는 reasoning 능력을 보여주는 등 뚜렷한 변동성을 보이는 다른 모델과 대조를 이룹니다. 마찬가지로 도메인별 평가(C-Eval 및 CMMLU)에서도 우리 모델은 문화적, 도메인별 맥락에 대한 미묘한 이해가 필요한 콘텐츠를 이해하고 생성하는 데 있어 TinyLlama-1.1B 및 Bloom-1.7B과 같은 모델을 앞지르는 공통적인 성능을 보여주었습니다. 이러한 균형 잡힌 숙련도는 모델의 다용도성과 적응력을 강조하며, 광범위한 적용 가능성과 심도 있는 도메인별 지식을 모두 갖춘 AI 언어 모델의 영역에서 강력한 경쟁자로 자리매김하고 있습니다.
표 2와 같이 영어 및 중국어 벤치마크 모두에서 다른 모델과 비교한 결과, MMLU 및 CMMLU와 같은 다양한 분야의 데이터 세트에서 성능 차이가 현저히 작다는 것을 알 수 있습니다. 다른 모델들은 특히 언어 이해 및 추론 벤치마크에서 상당한 차이를 보이는 반면, 저희 모델은 일관된 성능을 유지하여 다양한 영역에서 균형 잡힌 역량을 갖추고 있음을 시사합니다. 이는 헬라스웩 데이터 세트에서처럼 우리 모델이 미니CPM(최소, 2024) 및 Phi-2와 같은 다른 모델에 근접하거나 능가하는 추론 능력을 보여주는 등 뚜렷한 변동성을 보이는 다른 모델과 대조를 이룹니다. 마찬가지로 도메인별 평가(C-Eval 및 CMMLU)에서도 우리 모델은 문화적, 도메인별 맥락에 대한 미묘한 이해가 필요한 콘텐츠를 이해하고 생성하는 데 있어 TinyLlama-1.1B 및 Bloom-1.7B과 같은 모델을 앞지르는 공통적인 성능을 보여주었습니다. 이러한 균형 잡힌 숙련도는 모델의 다용도성과 적응력을 강조하며, 광범위한 적용 가능성과 심도 있는 도메인별 지식을 모두 갖춘 AI 언어 모델의 영역에서 강력한 경쟁자로 자리매김하고 있습니다.