**Why CHC-Bench is hard for LLMs.** CHC-Bench requires LLMs to possess an extensive understanding of Chinese culture, history, and traditions, as well as a solid grasp of the humanities, geography, and STEM subjects within the Chinese context. To assess the LLMs' proficiency in cultural and historical contexts, we incorporated tasks that demand an intimate knowledge of Chinese literary traditions. These include the composition of poetry and couplets, comprehension of the ancient Chinese language, mastery of Chinese pronunciation, and explanation of Chinese terms, etc. Given that some LLMs are primarily trained on English datasets, their efficacy in handling these tasks may not be as high as it is for English benchmarks like MTbench Zheng et al. (2024a). For instance, models such as TinyLlama-1.1B-Chat, Deepseek-coder-1.3b, and Bloom-1.7b, which have limited training data in Chinese, score below 3.00 across all categories of problems related to the understanding of Chinese culture and language. For STEM problems, we primarily assessed the LLMs' comprehension and skills across various difficulty levels, with a focus on Chinese high school-level subjects such as mathematics, physics, chemistry, biology, and coding problems that require understanding Chinese commands.
**왜 CHC-Bench가 LLMs에게 어려운가.** CHC-Bench는 LLMs가 중국의 문화, 역사, 전통에 대한 광범위한 이해와 더불어 인문학, 지리학, STEM 과목에 대한 탄탄한 지식을 요구합니다. LLMs의 문화적 및 역사적 맥락에서의 능력을 평가하기 위해, 우리는 중국 문학 전통에 대한 깊은 지식을 요구하는 과제를 포함시켰습니다. 여기에는 시와 대련의 작문, 고대 중국어의 이해, 중국어 발음의 숙달, 중국어 용어의 설명 등이 포함됩니다. 일부 LLMs가 주로 영어 데이터셋으로 훈련되었기 때문에, 이들이 이러한 과제를 처리하는 효율성은 MTbench Zheng et al. (2024a)와 같은 영어 벤치마크에 비해 높지 않을 수 있습니다. 예를 들어, TinyLlama-1.1B-Chat, Deepseek-coder-1.3b, Bloom-1.7b와 같은 모델들은 중국어로 된 훈련 데이터가 제한적이어서 중국 문화와 언어 이해와 관련된 모든 문제 범주에서 3.00 이하의 점수를 기록했습니다. STEM 문제의 경우, 우리는 주로 중국 고등학교 수준의 수학, 물리, 화학, 생물학, 중국어 명령어 이해를 요구하는 코딩 문제와 같은 다양한 난이도의 과목에서 LLMs의 이해력과 기술을 평가했습니다.
**CHC-Bench가 LLM에 어려운 이유.** CHC-Bench는 LLM이 중국 문화, 역사, 전통에 대한 광범위한 이해와 중국 맥락 내에서 인문학, 지리, STEM 과목에 대한 확실한 이해를 갖추어야 합니다. LLM의 문화적, 역사적 맥락에 대한 숙련도를 평가하기 위해 중국 문학 전통에 대한 깊은 지식이 필요한 과제를 통합했습니다. 여기에는 시와 쌍어 구절의 구성, 고대 중국어의 이해, 중국어 발음 숙달, 중국어 용어 설명 등이 포함됩니다. 일부 LLM은 주로 영어 데이터 세트로 학습되기 때문에 MTbench Zheng 등(2024a)과 같은 영어 벤치마크의 경우와 같이 이러한 작업을 처리하는 데 효과가 떨어질 수 있습니다. 예를 들어, 중국어 학습 데이터가 제한적인 TinyLlama-1.1B-Chat, Deepseek-coder-1.3b, Bloom-1.7b와 같은 모델은 중국 문화와 언어 이해와 관련된 모든 범주의 문제에서 3.00점 이하의 점수를 받았습니다. STEM 문제의 경우, 중국 고등학교 수준의 수학, 물리, 화학, 생물, 중국어 명령어 이해가 필요한 코딩 문제 등을 중심으로 다양한 난이도에 걸쳐 LLM의 이해력과 능력을 주로 평가했습니다.