Evaluation Datasets and MetricsOur evaluation encompasses a comprehensive suite of public benchmarks in both English and Chinese, leveraging an internal evaluation framework designed for robust assessment. These benchmarks include a diverse range of datasets catering to multiple disciplines and aspects of language understanding and reasoning, such as MMLU (Hendrycks et al., 2021), C-Eval (Huang et al., 2024), and CMMLU (Li et al., 2023). Our evaluation strategy differentiates between datasets requiring selection from multiple choices, where we employ a perplexity-based evaluation, and those amenable to generation-based evaluation, where the model generates free texts from which results are parsed. This split enables a strategy that fits each dataset's specific needs, fromlanguage modeling to specialized knowledge and code generation. The full details of the evaluation data are provided in Table 8.
평가 데이터셋 및 메트릭스: 우리의 평가는 견고한 평가를 위해 설계된 내부 평가 프레임워크를 활용하여 영어와 중국어로 된 공공 벤치마크의 포괄적인 모음을 포함합니다. 이러한 벤치마크에는 MMLU (Hendrycks et al., 2021), C-Eval (Huang et al., 2024), CMMLU (Li et al., 2023)와 같이 언어 이해 및 추론의 여러 분야와 측면을 다루는 다양한 데이터셋이 포함됩니다. 우리의 평가 전략은 다중 선택에서 선택을 요구하는 데이터셋과 생성 기반 평가가 가능한 데이터셋을 구분합니다. 다중 선택 데이터셋의 경우, 우리는 퍼플렉시티 기반 평가를 사용하고, 생성 기반 평가가 가능한 데이터셋의 경우 모델이 생성한 자유 텍스트에서 결과를 파싱합니다. 이러한 분할은 언어 모델링에서 전문 지식 및 코드 생성에 이르기까지 각 데이터셋의 특정 요구에 맞는 전략을 가능하게 합니다. 평가 데이터의 전체 세부 사항은 표 8에 제공됩니다.
평가 데이터 세트 및 메트릭본 평가에는 영어와 중국어의 포괄적인 공개 벤치마크 제품군이 포함되며, 강력한 평가를 위해 설계된 내부 평가 프레임워크를 활용합니다. 이러한 벤치마크에는 MMLU(Hendrycks et al., 2021), C-Eval(Huang et al., 2024), CMMLU(Li et al., 2023) 등 언어 이해 및 추론의 여러 분야와 측면을 아우르는 다양한 데이터 세트가 포함되어 있습니다. 평가 전략은 다중 선택지 중에서 선택해야 하는 데이터 세트와 난해함도 기반 평가를 사용하는 데이터 세트와 모델이 결과를 파싱하는 자유 텍스트를 생성하는 데이터 세트로 구분합니다. 이렇게 분리하면 언어 모델링부터 특수 지식 및 코드 생성에 이르기까지 각 데이터 세트의 특정 요구 사항에 맞는 전략을 수립할 수 있습니다. 평가 데이터의 자세한 내용은 표 8에 나와 있습니다.