After introducing existing benchmarks, in this part, we will review existing evaluation approaches for assessing the performance of LLMs. To organize our discussion, we categorize LLMs into three different types: _base LLMs_ (pre-trained model checkpoints), _fine-tuned LLMs_ (instruction or alignment fine-tuned model checkpoints), and _specialized LLMs_ (adapted model checkpoints for some specific task or domain). Here, we keep both fine-tuned LLMs and specialized LLMs, to distinguish the different purposes of LLMs: general or specific task solvers. To evaluate the three types of LLMs, we can test the LLM's performance related to different abilities (_e.g._, basic or advanced abilities as discussed in Section 7.1 and 7.2). In general, there are three main approaches to evaluating LLMs, namely benchmark-based approach [364], human-based approach [727], and model-based approach [729]. Table 15 shows an illustration of the relationship among LLM type, evaluation approach, and tested abilities. Next, we will discuss the evaluation approaches for different types of LLMs.
기존 벤치마크를 소개한 후, 이 부분에서는 LLM의 성능을 평가하기 위한 기존 평가 접근 방식을 검토할 것입니다. 논의를 체계화하기 위해 LLM을 세 가지 유형으로 분류합니다: _base LLMs_ (pre-trained model checkpoints), _fine-tuned LLMs_ (Instruction 또는 alignment Fine-tuning된 모델 체크포인트), _specialized LLMs_ (특정 작업 또는 도메인에 맞게 조정된 모델 체크포인트)으로 분류합니다. 여기서는 fine-tuned LLMs과 specialized LLMs을 모두 유지하여 일반 또는 특정 작업 솔버의 다양한 LLM의 목적을 구분합니다. 세 가지 유형의 LLM을 평가하기 위해 LLM의 다양한 능력(_예: 섹션 7.1 및 7.2에서 논의한 기본 또는 고급 능력)과 관련된 LLM의 성능을 테스트할 수 있습니다. 일반적으로 LLM을 평가하는 방법에는 벤치마크 기반 접근 방식[364], 사람 기반 접근 방식[727], 모델 기반 접근 방식[729] 등 세 가지 주요 접근 방식이 있습니다. 표 15는 LLM 유형, 평가 접근 방식 및 테스트된 능력 간의 관계를 보여줍니다. 다음에서는 다양한 유형의 LLM에 대한 평가 접근 방식에 대해 설명합니다.
기존 벤치마크를 소개한 후, 이 부분에서는 LLM의 성능을 평가하기 위한 기존 평가 접근 방식을 검토할 것입니다. 논의를 체계화하기 위해 LLM을 세 가지 유형으로 분류합니다: _기본 LLM_ (사전 학습된 모델 체크포인트), _미세 조정된 LLM_ (명령 또는 정렬 미세 조정된 모델 체크포인트), _특수화된 LLM_ (특정 작업 또는 도메인에 맞게 조정된 모델 체크포인트)으로 분류합니다. 여기서는 미세 조정된 LLM과 특수화된 LLM을 모두 유지하여 일반 또는 특정 작업 솔버의 다양한 LLM의 목적을 구분합니다. 세 가지 유형의 LLM을 평가하기 위해 LLM의 다양한 능력(_예: 섹션 7.1 및 7.2에서 논의한 기본 또는 고급 능력)과 관련된 LLM의 성능을 테스트할 수 있습니다. 일반적으로 LLM을 평가하는 방법에는 벤치마크 기반 접근 방식[364], 사람 기반 접근 방식[727], 모델 기반 접근 방식[729] 등 세 가지 주요 접근 방식이 있습니다. 표 15는 LLM 유형, 평가 접근 방식 및 테스트된 능력 간의 관계를 보여줍니다. 다음에서는 다양한 유형의 LLM에 대한 평가 접근 방식에 대해 설명합니다.