**Evaluation of Specialized LLMs.** Specialized LLMs refer to the model checkpoints specially adapted to some domains or applications like healthcare [356] and finance [737]. As special task solvers, specialized LLMs will be tested not only on general abilities (_e.g.,_ basic ability like complex reasoning and advanced ability like human alignment), but also on specific abilities related to their designated domains or applications. For this purpose, one often needs to construct specific benchmarks tailored for the target domains or applications. Then, these domain-specific benchmarks can be combined with general benchmarks to conduct both comprehensive and targeted evaluation for specialized LLMs. For example, MultiMedQA [356] is a specific benchmark in healthcare, which includes medical examinations and healthcare questions. In this work [356], MultiMedQA has been combined with MMLU [364] to assess the performance of specialized LLMs for healthcare, such as Med-PaLM [356]. Similarly, FLUE [737] constructs a benchmark for finance, spanning from financial sentiment analysis to question answering. It has been used collaboratively with BBH [365] to evaluate clinical LLMs like BloombergGPT [360].
**전문 LLM의 평가**. 전문 LLM은 의료 [356] 및 금융 [737]과 같은 일부 도메인 또는 애플리케이션에 특별히 적합한 모델 체크포인트를 의미합니다. 특수 작업 솔버로서 전문 LLM은 일반적인 능력(예: 복잡한 추론과 같은 기본 능력 및 인간 정렬과 같은 고급 능력)뿐만 아니라 지정된 도메인 또는 애플리케이션과 관련된 특정 능력에 대해서도 테스트됩니다. 이를 위해 대상 도메인 또는 애플리케이션에 맞는 특정 벤치마크를 구성해야 하는 경우가 많습니다. 그런 다음 이러한 도메인별 벤치마크를 일반 벤치마크와 결합하여 전문 LLM에 대한 포괄적이고 목표 지향적인 평가를 수행할 수 있습니다. 예를 들어, MultiMedQA[356]는 의료 검사 및 의료 질문을 포함하는 의료 분야의 특정 벤치마크입니다. 이 작업[356]에서는 MultiMedQA를 MMLU[364]와 결합하여 Med-PaLM[356]과 같은 의료용 전문 LLM의 성능을 평가했습니다. 마찬가지로 FLUE [737]는 재무 감정 분석부터 질문 답변에 이르기까지 금융 분야의 벤치마크를 구축했습니다. 이 벤치마크는 BBH [365]와 협력하여 BloombergGPT [360]와 같은 임상 LLM을 평가하는 데 사용되었습니다.
**전문 LLM의 평가**. 전문 LLM은 의료 [356] 및 금융 [737]과 같은 일부 도메인 또는 애플리케이션에 특별히 적합한 모델 체크포인트를 의미합니다. 특수 작업 솔버로서 전문 LLM은 일반적인 능력(예: 복잡한 추론과 같은 기본 능력 및 인간 정렬과 같은 고급 능력)뿐만 아니라 지정된 도메인 또는 애플리케이션과 관련된 특정 능력에 대해서도 테스트됩니다. 이를 위해 대상 도메인 또는 애플리케이션에 맞는 특정 벤치마크를 구성해야 하는 경우가 많습니다. 그런 다음 이러한 도메인별 벤치마크를 일반 벤치마크와 결합하여 전문 LLM에 대한 포괄적이고 목표 지향적인 평가를 수행할 수 있습니다. 예를 들어, 멀티메드QA[356]는 의료 검사 및 의료 질문을 포함하는 의료 분야의 특정 벤치마크입니다. 이 작업[356]에서는 멀티메드QA를 MMLU[364]와 결합하여 Med-PaLM[356]과 같은 의료용 전문 LLM의 성능을 평가했습니다. 마찬가지로 FLUE [737]는 재무 감정 분석부터 질문 답변에 이르기까지 금융 분야의 벤치마크를 구축했습니다. 이 벤치마크는 BBH [365]와 협력하여 BloombergGPT [360]와 같은 임상 LLM을 평가하는 데 사용되었습니다.