We collect the problems from various sources e.g. ziya (Zhang et al., 2022), goakao, and CIF-Bench (Li et al., 2024) to form hard-case Chinese instructions understanding and following evaluation benchmark (CHC-Bench in short) The categories of problems in CHC-Bench include writing, humanity and history, science, math, reading comprehension, role-playing, and hard cases of Chinese understanding (i.e. Chinese word pronunciation, ancient Chinese language understanding, etc.).
우리는 다양한 출처에서 문제를 수집하여 예를 들어 ziya (Zhang et al., 2022), goakao, CIF-Bench (Li et al., 2024) 등을 통해 어려운 중국어 지시 이해 및 평가 벤치마크 (CHC-Bench)를 형성합니다. CHC-Bench의 문제 범주에는 글쓰기, 인문학 및 역사, 과학, 수학, 독해, 역할 놀이, 그리고 중국어 이해의 어려운 사례들(예: 중국어 단어 발음, 고대 중국어 이해 등)이 포함됩니다.
다양한 소스(예: ziya(Zhang et al., 2022), goakao, CIF-Bench(Li et al., 2024))에서 문제를 수집하여 어려운 경우의 중국어 이해 및 수행 평가 벤치마크(이하 CHC-Bench)를 구성합니다. CHC-Bench의 문제 카테고리에는 글쓰기, 인문학 및 역사, 과학, 수학, 독해, 롤플레잉, 중국어 이해의 어려운 사례(예: 중국어 단어 발음, 고대 중국어 이해 등)가 포함됩니다.