* MMLU (Hendrycks et al., 2020), Massive Multitask Language Understanding, is a benchmark designed to measure capability of language models. It covers 57 subjects across STEM, the humanities, the social sciences, and more areas. We only use the test split for reporting the test results, and report the average score across all tasks. * BBH (Suzgun et al., 2022), BIG-Bench-Hard, includes 23 challenging BIG-Bench tasks that prior language models did not outperform average human-raters.
* MMLU (Hendrycks et al., 2020), Massive Multitask Language Understanding,는 언어 모델의 성능을 측정하기 위해 고안된 benchmark입니다. STEM, 인문학, 사회과학 등 다양한 분야의 57개 과목을 다룹니다. 테스트 결과 보고를 위해 테스트 분할만 사용하며 모든 과제에 대한 평균 점수를 보고합니다. * BBH (Suzgun et al., 2022), BIG-Bench-Hard,에는 이전 언어 모델이 평균 인간 평가자를 능가하지 못했던 23개의 도전적인 BIG-Bench 과제가 포함되어 있습니다.
* MMLU(Hendrycks et al., 2020), 대규모 멀티태스크 언어 이해는 언어 모델의 성능을 측정하기 위해 고안된 벤치마크입니다. STEM, 인문학, 사회과학 등 다양한 분야의 57개 과목을 다룹니다. 테스트 결과 보고를 위해 테스트 분할만 사용하며 모든 과제에 대한 평균 점수를 보고합니다. * BBH(Suzgun et al., 2022), BIG-Bench-Hard에는 이전 언어 모델이 평균 인간 평가자를 능가하지 못했던 23개의 도전적인 BIG-Bench 과제가 포함되어 있습니다.