MMLU BenchmarkTo properly evaluate the capabilities of LLMs on knowledge-intensive tasks, we selected four distinct tasks from the Massively Multilingual Language Understanding Evaluation (MMLU) benchmark (Hendrycks et al., 2021) in the topics of anatomy, astronomy, college biology, college chemistry and prehistory. The chosen tasks were selected based on their emphasis on factual knowledge and the minimal reliance on reasoning. As a heuristic, we opted for tasks where the questions are short and involve no context. In practice we selected four STEM subjects as well as one humanities subject, to ensure the evaluation is not limited to certain fields. Note that prehistory involves questions spanning all non-modern history. This approach aims to enable us to test LLM proficiency in comprehending and manipulating information in isolation from its reasoning processes.
MMLU Benchmark지식 집약적인 작업에서 LLM의 기능을 적절히 평가하기 위해 해부학, 천문학, college biology, college chemistry 및 prehistory를 주제로 한 Massively Multilingual Language Understanding Evaluation (MMLU) 벤치마크(Hendrycks et al., 2021)에서 네 가지 작업을 선별했습니다. 선택한 과제는 사실적 지식에 중점을 두고 추론에 대한 의존도가 최소화된 과제를 기준으로 선정했습니다. 휴리스틱으로 질문이 짧고 문맥이 필요하지 않은 과제를 선택했습니다. 실제로는 평가가 특정 분야에 국한되지 않도록 STEM 과목 4개와 인문학 과목 1개를 선택했습니다. prehistory에는 현대 이전의 모든 역사에 걸친 질문이 포함된다는 점에 유의하세요. 이 접근 방식은 추론 과정과 분리하여 정보를 이해하고 조작하는 LLM의 숙련도를 테스트할 수 있도록 하는 것을 목표로 합니다.
MMLU 벤치마크지식 집약적인 작업에서 LLM의 기능을 적절히 평가하기 위해 해부학, 천문학, 대학 생물학, 대학 화학 및 선사 시대를 주제로 한 대규모 다국어 언어 이해 평가(MMLU) 벤치마크(Hendrycks et al., 2021)에서 네 가지 작업을 선별했습니다. 선택한 과제는 사실적 지식에 중점을 두고 추론에 대한 의존도가 최소화된 과제를 기준으로 선정했습니다. 휴리스틱으로 질문이 짧고 문맥이 필요하지 않은 과제를 선택했습니다. 실제로는 평가가 특정 분야에 국한되지 않도록 STEM 과목 4개와 인문학 과목 1개를 선택했습니다. 선사 시대에는 현대 이전의 모든 역사에 걸친 질문이 포함된다는 점에 유의하세요. 이 접근 방식은 추론 과정과 분리하여 정보를 이해하고 조작하는 LLM의 숙련도를 테스트할 수 있도록 하는 것을 목표로 합니다.