\(\bullet\)_MMLU_[364] is a versatile benchmark for large-scale evaluation of multi-task knowledge understanding, covering a wide range of knowledge domains from mathematics and computer science to humanities and social sciences. The difficulties of these tasks vary from basic to advanced. As shown in existing work, LLMs mostly outperform small models by a substantial margin on this benchmark [56, 57, 56, 69], which shows the scaling law in model size. More recently, GPT-4 achieves a remarkable record (86.4% in 5-shot setting) in MMLU, which is significantly better than the previous state-of-the-art models [46].
\(\bullet\)_MMLU_[364]는 수학과 컴퓨터 과학부터 인문학, 사회과학에 이르기까지 다양한 지식 영역을 포괄하는 multi-task knowledge understanding의 대규모 평가를 위한 다목적 벤치마크입니다. 이러한 과제의 난이도는 기초부터 고급까지 다양합니다. 기존 연구에서 볼 수 있듯이, LLMs은 대부분 이 벤치마크에서 소형 모델보다 상당한 격차로 우수한 성능을 보여주며[56, 57, 56, 69], 이는 모델 크기의 scaling law를 보여줍니다. 최근에는 GPT-4가 MMLU에서 뛰어난 기록(5-shot 설정에서 86.4%)을 달성하여 이전의 최첨단 모델보다 훨씬 뛰어난 성능을 보여주었습니다[46].
\(\bullet\)_MMLU_[364]는 수학과 컴퓨터 과학부터 인문학, 사회과학에 이르기까지 다양한 지식 영역을 포괄하는 다중 작업 지식 이해의 대규모 평가를 위한 다목적 벤치마크입니다. 이러한 과제의 난이도는 기초부터 고급까지 다양합니다. 기존 연구에서 볼 수 있듯이, LLM은 대부분 이 벤치마크에서 소형 모델보다 상당한 격차로 우수한 성능을 보여주며[56, 57, 56, 69], 이는 모델 크기의 스케일링 법칙을 보여줍니다. 최근에는 GPT-4가 MMLU에서 뛰어난 기록(5샷 설정에서 86.4%)을 달성하여 이전의 최첨단 모델보다 훨씬 뛰어난 성능을 보여주었습니다[46].