The above benchmarks cover a variety of mainstream evaluation tasks and real-world human exam questions for the evaluation of LLMs. Also, there are several benchmarks that focus on evaluating specific abilities of LLMs, such as TyDiQA [735] for multilingual knowledge utilization and MSSM [524] for multilingual mathematical reasoning. To conduct the evaluation, one can select suitable benchmarks according to specific goals. In addition, there are also several open-source evaluation frameworks for researchers to evaluate LLMs on existing benchmarks or extend new tasks for customized evaluations, such as Language Model Evaluation Harness [736] and OpenAI Evals [46]. Further, some researchers also construct continuously updated leaderboards by aggregating representative benchmarks, to compare the performance of existing LLMs, such as Open LLM Leaderboard [707]. The above benchmarks and leaderboards provide important references to demonstrate the basic and advanced abilities of LLMs. We will give more deep discussions on pros and cons on evaluation approaches in Section 7.3.2.
위의 벤치마크는 LLM의 평가를 위한 다양한 주류 평가 작업과 실제 인간 시험 문제를 다룹니다. 또한 다국어 지식 활용을 위한 TyDiQA [735]와 다국어 수학적 추론을 위한 MSSM [524] 등 LLM의 특정 능력을 평가하는 데 초점을 맞춘 몇 가지 벤치마크도 있습니다. 평가를 수행하려면 특정 목표에 따라 적합한 벤치마크를 선택할 수 있습니다. 또한 연구자들이 기존 벤치마크에서 LLM을 평가하거나 맞춤형 평가를 위해 새로운 작업을 확장할 수 있는 몇 가지 오픈 소스 평가 프레임워크(예: Language Model Evaluation Harness [736] 및 OpenAI Evals [46])도 있습니다. 또한 일부 연구자들은 대표적인 벤치마크를 집계하여 지속적으로 업데이트되는 리더보드를 구축하여 기존 LLM의 성능을 비교하기도 합니다(예: Open LLM Leaderboard [707]). 위의 벤치마크와 리더보드는 LLM의 기본 및 고급 기능을 입증하는 데 중요한 참고 자료를 제공합니다. 평가 접근 방식에 대한 장단점에 대해서는 섹션 7.3.2에서 더 자세히 논의할 것입니다.
위의 벤치마크는 LLM의 평가를 위한 다양한 주류 평가 작업과 실제 인간 시험 문제를 다룹니다. 또한 다국어 지식 활용을 위한 TyDiQA [735]와 다국어 수학적 추론을 위한 MSSM [524] 등 LLM의 특정 능력을 평가하는 데 초점을 맞춘 몇 가지 벤치마크도 있습니다. 평가를 수행하려면 특정 목표에 따라 적합한 벤치마크를 선택할 수 있습니다. 또한 연구자들이 기존 벤치마크에서 LLM을 평가하거나 맞춤형 평가를 위해 새로운 작업을 확장할 수 있는 몇 가지 오픈 소스 평가 프레임워크(예: Language Model Evaluation Harness [736] 및 OpenAI Evals [46])도 있습니다. 또한 일부 연구자들은 대표적인 벤치마크를 집계하여 지속적으로 업데이트되는 리더보드를 구축하여 기존 LLM의 성능을 비교하기도 합니다(예: Open LLM 리더보드 [707]). 위의 벤치마크와 리더보드는 LLM의 기본 및 고급 기능을 입증하는 데 중요한 참고 자료를 제공합니다. 평가 접근 방식에 대한 장단점에 대해서는 섹션 7.3.2에서 더 자세히 논의할 것입니다.