to evaluate the various aspects of language understanding and reasoning. Specifically, this benchmark provides a Korean-translated version of language understanding tasks: boolean question answering [1], commonsense causal reasoning (COPA; Roemmele et al.2011, context-sensitive word understanding (WiC; Pilehvar and Camacho-Collados2019), commonsense reasoning [11], and sentiment negation recognition (SentiNeg). For English tasks, we employ the following original tasks of KoBEST, BoolQ, COPA, and HelaSwag, which can better highlight the alignment between the English and Korean capabilities of LLMs. To ensure consistent comparisons, we employ an open-source LLM evaluation framework, lm-evaluation-harness9[7].
언어 이해와 추론의 다양한 측면을 평가하기 위해, 이 벤치마크는 언어 이해 과제의 한국어 번역 버전을 제공합니다: boolean 질문 응답 [1], 상식적 인과 추론 (COPA; Roemmele et al. 2011), 문맥 민감 단어 이해 (WiC; Pilehvar and Camacho-Collados 2019), 상식적 추론 [11], 그리고 감정 부정 인식 (SentiNeg). 영어 과제의 경우, KoBEST, BoolQ, COPA, 그리고 HelaSwag의 원래 과제를 사용하여 LLM의 영어와 한국어 능력 간의 정렬을 더 잘 강조할 수 있습니다. 일관된 비교를 보장하기 위해, 우리는 오픈 소스 LLM 평가 프레임워크인 lm-evaluation-harness9[7]을 사용합니다.
언어 이해와 추론의 다양한 측면을 평가하기 위해. 특히, 이 벤치마크는 언어 이해 과제의 한국어 번역 버전을 제공합니다: 부울 질문 답변[1], 상식적 인과 추론(COPA; Roemmele et al.2011, 문맥 민감한 단어 이해(WiC; Pilehvar 및 Camacho-Collados2019), 상식적 추론[11] 및 감정 부정 인식(SentiNeg)을 제공합니다. 영어 과제의 경우, KoBEST, BoolQ, COPA 및 HelaSwag의 다음과 같은 원래 과제를 사용하여 LLM의 영어 및 한국어 기능 간의 정렬을 더 잘 강조할 수 있습니다. 일관된 비교를 위해 오픈 소스 LLM 평가 프레임워크인 lm-evaluation-harness9[7]를 사용합니다.