The overall evaluation utilizes our open-source tool UltraEval3. UltraEval is an open-source framework for assessing the capabilities of foundation models. It provides a lightweight and user-friendly evaluation system, supporting performance assessment for mainstream large models, and catering to the rapid evaluation needs of model training teams. The underlying inference and acceleration use the open-source framework vLLM (Kwon et al., 2023), and the dataset includes commonly used datasets: MMLU (Hendrycks et al., 2020) for English knowledge, CMMLU (Li et al., 2024) and C-Eval (Huang et al., 2024) for Chinese knowledge, HumanEval (Chen et al., 2021) and MBPP (Austin et al., 2021) for coding, GSM8K (Cobbe et al., 2021) and MATH (Hendrycks et al., 2021) for mathematics, and HellaSwag (Zellers et al., 2019), ARC-e (Clark et al., 2018), ARC-c (Clark et al., 2018) for commonsense reasoning, and BBH (Suzgun et al., 2022) for logic reasoning.
전체 평가에는 오픈 소스 도구인 UltraEval3를 사용합니다. UltraEval은 기초 모델의 역량을 평가하기 위한 오픈 소스 프레임워크입니다. 이 프레임워크는 경량화되고 사용자 친화적인 평가 시스템을 제공하며, 주류 대형 모델의 성능 평가를 지원하고 모델 훈련 팀의 신속한 평가 요구를 충족시킵니다. 기본적인 추론 및 가속화는 오픈 소스 프레임워크인 vLLM (Kwon et al., 2023)을 사용하며, 데이터셋에는 일반적으로 사용되는 데이터셋이 포함됩니다: 영어 지식을 위한 MMLU (Hendrycks et al., 2020), 중국어 지식을 위한 CMMLU (Li et al., 2024) 및 C-Eval (Huang et al., 2024), 코딩을 위한 HumanEval (Chen et al., 2021) 및 MBPP (Austin et al., 2021), 수학을 위한 GSM8K (Cobbe et al., 2021) 및 MATH (Hendrycks et al., 2021), 상식 추론을 위한 HellaSwag (Zellers et al., 2019), ARC-e (Clark et al., 2018), ARC-c (Clark et al., 2018), 논리 추론을 위한 BBH (Suzgun et al., 2022).
전반적인 평가는 오픈 소스 도구인 UltraEval3를 활용합니다. UltraEval은 기반 모델의 기능을 평가하기 위한 오픈 소스 프레임워크입니다. 주류 대형 모델에 대한 성능 평가를 지원하고 모델 학습 팀의 신속한 평가 요구를 충족하는 경량의 사용자 친화적인 평가 시스템을 제공합니다. 기본 추론 및 가속은 오픈 소스 프레임워크인 vLLM(Kwon et al., 2023)을 사용하며, 데이터 세트에는 일반적으로 사용되는 데이터 세트가 포함되어 있습니다: 영어 지식의 경우 MMLU(Hendrycks et al., 2020), 중국어 지식의 경우 CMMLU(Li et al., 2024) 및 C-Eval(Huang et al., 2024), 코딩의 경우 HumanEval(Chen et al., 2021) 및 MBPP(Austin et al., 2021), 수학의 경우 GSM8K(Cobbe et al., 2021) 및 MATH(Hendrycks et al., 2021), 상식 추론의 경우 HellaSwag(Zellers et al., 2019), ARC-e(Clark et al., 2018), ARC-c(Clark et al., 2018), 논리 추론의 경우 BBH(Suzgun et al., 2022) 등이 있습니다.