CmmlUis a comprehensive evaluation benchmark specifically designed to evaluate the knowledge and reasoning abilities of LLMs within the context of Chinese language and culture. CMMLU covers a wide range of subjects, comprising 67 topics that span from elementary to advanced professional levels. It includes subjects that require computational expertise, such as physics and mathematics, as well as disciplines within humanities and social sciences.
CmmlU는 중국어와 중국 문화의 맥락에서 LLM의 지식과 추론 능력을 평가하기 위해 특별히 설계된 종합 평가 벤치마크입니다. CMMLU는 초등 수준부터 고급 전문 수준에 이르는 67개의 주제를 포함하여 광범위한 과목을 다룹니다. 여기에는 물리학과 수학과 같은 계산 전문 지식이 필요한 과목뿐만 아니라 인문학 및 사회 과학 분야의 학문도 포함됩니다.
CMMLU는 중국어와 문화의 맥락에서 LLM의 지식과 추론 능력을 평가하기 위해 특별히 고안된 포괄적인 평가 벤치마크입니다. CMMLU는 초급부터 고급 전문가 수준에 이르는 67개의 주제로 구성된 광범위한 주제를 다룹니다. 물리학 및 수학과 같이 계산 전문 지식이 필요한 과목과 인문학 및 사회과학 분야의 과목도 포함되어 있습니다.