\(\bullet\)_Evaluation benchmarks._ To facilitate a more thorough evaluation of MLLMs, various benchmarks have been developed. Part of them collect existing vision-language tasks for comprehensive evaluation. For instance, LVLM-eHub [852] aggregates 47 existing text-related visual tasks to assess six distinct capabilities of MLLMs, and Reform-Eval [853] takes this a step further by standardizing questions from existing benchmarks into a uniform format and discusses how the backbone models influence MLLMs' performance. In addition to incorporating existing tasks, several work also derives new questions annotated by humans or with the help of LLMs. MME [839] creates a dataset by pairing images from public sources with manually-collected text instructions for perception and cognition evaluations. MMBench [838] transforms these instructions into multiple-choice questions and introduces CircularEval to ensure evaluation consistency. SEED-Bench [854] further considers temporal understanding tasks and enlarges the evaluation scale to 19K multiple-choice questions with the assistance of LLMs. MM-Vet [855] presents more complex tasks to assess the integrated multimodal capabilities of MLLMs. It starts by defining six essential multimodal abilities and then creates intricate questions by combining multiple abilities. In summary, the above benchmarks collectively contribute to the comprehensive evaluation and improved development of MLLMs.
\(\bullet\)_평가 벤치마크._ MLLMs의 보다 철저한 평가를 위해 다양한 벤치마크가 개발되었습니다. 이들 중 일부는 기존의 비전-언어 과제를 수집하여 종합적인 평가를 수행합니다. 예를 들어, LVLM-eHub [852]는 47개의 기존 텍스트 관련 시각 과제를 모아 MLLMs의 여섯 가지 독특한 능력을 평가하고, Reform-Eval [853]은 기존 벤치마크의 질문을 표준화된 형식으로 통합하여 백본 모델이 MLLMs의 성능에 어떻게 영향을 미치는지 논의합니다. 기존 과제를 통합하는 것 외에도, 여러 연구는 인간 또는 LLMs의 도움으로 주석이 달린 새로운 질문을 도출합니다. MME [839]는 공공 출처의 이미지와 수집된 텍스트 지시문을 짝지어 인식 및 인지 평가를 위한 데이터셋을 만듭니다. MMBench [838]는 이러한 지시문을 다지선다형 질문으로 변환하고 평가 일관성을 보장하기 위해 CircularEval을 도입합니다. SEED-Bench [854]는 시간적 이해 과제를 추가로 고려하고 LLMs의 도움으로 평가 규모를 19K 다지선다형 질문으로 확대합니다. MM-Vet [855]는 MLLMs의 통합된 멀티모달 능력을 평가하기 위해 더 복잡한 과제를 제시합니다. 이는 여섯 가지 필수 멀티모달 능력을 정의한 후 여러 능력을 결합하여 복잡한 질문을 만듭니다. 요약하자면, 위의 벤치마크들은 MLLMs의 종합적인 평가와 개선된 개발에 기여합니다.
\(\bullet\)_평가 벤치마크._ MLLM의 보다 철저한 평가를 촉진하기 위해 다양한 벤치마크가 개발되었습니다. 그중 일부는 포괄적인 평가를 위해 기존의 비전-언어 작업을 수집합니다. 예를 들어, LVLM-eHub [852]는 47개의 기존 텍스트 관련 시각 작업을 집계하여 MLLM의 6가지 기능을 평가하고, Reform-Eval [853]은 기존 벤치마크의 질문을 통일된 형식으로 표준화하여 백본 모델이 MLLM의 성능에 미치는 영향에 대해 논의하는 데 한 걸음 더 나아갑니다. 기존 작업을 통합하는 것 외에도 몇몇 작업에서는 인간이나 LLM의 도움을 받아 새로운 질문을 도출하기도 합니다. MME [839]는 공개 소스의 이미지와 지각 및 인지 평가를 위한 수동으로 수집된 텍스트 지침을 짝을 이루어 데이터 세트를 생성합니다. MMBench [838]는 이러한 지침을 객관식 문제로 변환하고 평가 일관성을 보장하기 위해 CircularEval을 도입합니다. SEED-Bench [854]는 시간적 이해 작업을 더 고려하고 LLM의 도움으로 19,000개의 객관식 문제로 평가 규모를 확대합니다. MM-Vet [855]은 MLLM의 통합 멀티모달 기능을 평가하기 위해 더 복잡한 작업을 제시합니다. 먼저 6가지 필수 멀티모달 능력을 정의한 다음 여러 능력을 결합하여 복잡한 질문을 생성합니다. 요약하면, 위의 벤치마크는 종합적으로 MLLM의 종합적인 평가와 개선된 개발에 기여하고 있습니다.