\(\bullet\)_Human-level test benchmarks_ aim to evaluate the comprehensive ability of LLMs with questions designed for testing humans, such as AGIEval [708], MMCU [709], M3KE [710], C-Eval [711] and Xiezhi [712]. These benchmarks encompass a wide range of domains, difficulty levels, and languages to provide a comprehensive evaluation of LLMs' general capabilities. Compared to publicly available models, models offering API services (_e.g._, GPT-4, ChatGPT, Claude) demonstrate superior performance compared to publicly available models on these evaluation benchmarks. As the best-performing model in evaluations, GPT-4 surpasses average human performance in AGIEval [708]. However, it still lags behind the top human performance on these challenging benchmarks. Hence, there remains ample room for further enhancements in the overall abilities of LLMs, particularly for publicly accessible models.
\(\bullet\)_인간 수준의 테스트 벤치마크_는 AGIEval [708], MMCU [709], M3KE [710], C-Eval [711], Xiezhi [712]와 같이 인간을 테스트하기 위해 설계된 질문을 통해 LLMs의 종합적인 능력을 평가하는 것을 목표로 합니다. 이러한 벤치마크는 LLMs의 일반적인 능력을 종합적으로 평가하기 위해 다양한 도메인, 난이도 및 언어를 포함합니다. 공개적으로 이용 가능한 모델과 비교할 때, API 서비스를 제공하는 모델(_예: GPT-4, ChatGPT, Claude_)은 이러한 평가 벤치마크에서 공개적으로 이용 가능한 모델보다 우수한 성능을 보여줍니다. 평가에서 가장 뛰어난 성능을 보이는 모델인 GPT-4는 AGIEval [708]에서 평균 인간 성능을 능가합니다. 그러나 여전히 이러한 도전적인 벤치마크에서 최고 인간 성능에는 미치지 못합니다. 따라서 특히 공개적으로 접근 가능한 모델의 경우, LLMs의 전반적인 능력을 더욱 향상시킬 여지가 많이 남아 있습니다.
\(\bullet\)_인간 수준의 테스트 벤치마크_는 AGIEval [708], MMCU [709], M3KE [710], C-Eval [711] 및 Xiezhi [712]와 같이 인간을 테스트하기 위해 설계된 질문으로 LLM의 종합적인 능력을 평가하는 것을 목표로 합니다. 이러한 벤치마크는 다양한 도메인, 난이도 및 언어를 포괄하여 LLM의 일반적인 기능을 종합적으로 평가합니다. 공개적으로 사용 가능한 모델과 비교하여 API 서비스를 제공하는 모델(_예: GPT-4, ChatGPT, Claude)은 이러한 평가 벤치마크에서 공개적으로 사용 가능한 모델에 비해 우수한 성능을 보여줍니다. 평가에서 가장 우수한 성능을 보인 GPT-4는 AGIEval [708]에서 평균적인 인간 성능을 능가합니다. 그러나 이러한 까다로운 벤치마크에서 최고의 인간 성능에 비해 여전히 뒤처지고 있습니다. 따라서 특히 공개적으로 접근 가능한 모델의 경우 LLM의 전반적인 능력을 더욱 향상시킬 수 있는 여지가 충분합니다.