\(\bullet\)_Common benchmarks._ To evaluate base LLMs, typical benchmarks are designed in the form of close-ended problems like multiple-choice questions. These commonly used benchmarks can be mainly divided into two categories: knowledge-oriented and reasoning-oriented benchmarks. Knowledge-oriented benchmarks (_e.g._, MMLU [364] and C-Eval [711]) aim to evaluate the capacity of world knowledge, while reasoning-oriented benchmarks (_e.g._, GSM8K [643], BBH [365], and MATH [364]) focus on evaluating the capability of solving complex reasoning tasks. Further, some recently proposed benchmarks (_e.g._, OpenCompass [713]) combine these two types for a comprehensive comparison.
• 일반적인 벤치마크. 기본 LLM을 평가하기 위해, 일반적으로 사용되는 벤치마크는 다지선다형 문제와 같은 폐쇄형 문제의 형태로 설계됩니다. 이러한 일반적으로 사용되는 벤치마크는 주로 지식 지향 벤치마크와 추론 지향 벤치마크의 두 가지 범주로 나눌 수 있습니다. 지식 지향 벤치마크(예: MMLU [364] 및 C-Eval [711])는 세계 지식의 능력을 평가하는 것을 목표로 하며, 추론 지향 벤치마크(예: GSM8K [643], BBH [365], 및 MATH [364])는 복잡한 추론 작업을 해결하는 능력을 평가하는 데 중점을 둡니다. 또한, 최근 제안된 일부 벤치마크(예: OpenCompass [713])는 포괄적인 비교를 위해 이 두 가지 유형을 결합합니다.
\(\bullet\)_일반적인 벤치마크._ 기본 LLM을 평가하기 위해 일반적으로 객관식 문제와 같은 폐쇄형 문제 형식으로 설계된 벤치마크가 있습니다. 일반적으로 사용되는 이러한 벤치마크는 주로 지식 중심 벤치마크와 추론 중심 벤치마크의 두 가지 범주로 나눌 수 있습니다. 지식 중심 벤치마크(_예: MMLU [364] 및 C-Eval [711])는 세계 지식의 역량을 평가하는 것을 목표로 하는 반면, 추론 중심 벤치마크(_예: GSM8K [643], BBH [365], MATH [364])는 복잡한 추론 과제 해결 능력을 평가하는 데 중점을 둡니다. 또한 최근에 제안된 일부 벤치마크(예: OpenCompass [713])는 포괄적인 비교를 위해 이 두 가지 유형을 결합합니다.