The evaluation of LLMs poses particular challenges due to the evolving landscape of their applications. The original intent behind developing LLMs was to boost the performance of NLP tasks such as translation, summarization, question-answering, and so on [178]. However, it is evident today that these models are finding utility across diverse domains including code generation and finance. Moreover, the evaluation of LLMs encompasses several critical considerations such as fairness and bias, fact-checking, and reasoning. In this section, we outline the commonly used benchmarks for assessing LLMs. These benchmarks are categorized based on training or evaluating the LLM Capabilities.
LLM의 평가는 적용 분야의 진화하는 환경으로 인해 특히 어려운 문제가 있습니다. LLM을 개발한 원래의 목적은 번역, 요약, 질의응답 등과 같은 NLP 작업의 성능을 향상시키는 것이었습니다[178]. 그러나 오늘날 이러한 모델이 코드 생성 및 금융을 포함한 다양한 영역에서 유용성을 발견하고 있는 것은 분명합니다. 또한 LLM의 평가에는 공정성 및 편향성, 사실 확인, 추론 등 여러 가지 중요한 고려 사항이 포함됩니다. 이 섹션에서는 LLM을 평가하는 데 일반적으로 사용되는 벤치마크를 간략하게 설명합니다. 이러한 벤치마크는 LLM Capabilities를 평가하거나 평가하는 기준에 따라 분류됩니다.
LLM의 평가는 적용 분야의 진화하는 환경으로 인해 특히 어려운 문제가 있습니다. LLM을 개발한 원래의 목적은 번역, 요약, 질의응답 등과 같은 NLP 작업의 성능을 향상시키는 것이었습니다[178]. 그러나 오늘날 이러한 모델이 코드 생성 및 금융을 포함한 다양한 영역에서 유용성을 발견하고 있는 것은 분명합니다. 또한 LLM의 평가에는 공정성 및 편향성, 사실 확인, 추론 등 여러 가지 중요한 고려 사항이 포함됩니다. 이 섹션에서는 LLM을 평가하는 데 일반적으로 사용되는 벤치마크를 간략하게 설명합니다. 이러한 벤치마크는 LLM 기능을 평가하거나 평가하는 기준에 따라 분류됩니다.