\(\bullet\)_Evaluation perspectives._ The evaluation tasks for MLLMs can be categorized into two main types: _perception_ and _cognition_ tasks. Specifically, _perception_ tasks aim to assess the model's abilities in understanding the basic semantics of the image content, while _cognition_ tasks evaluate models with more complex tasks that require reasoning based on perception results. The perception ability is typically evaluated through classification tasks about attributes of image (_e.g._, topic and style) and object (_e.g._, existence and color) or OCR-related tasks, based on existing datasets or new datasets derived from existing images with annotations by humans or LLMs [836, 837, 838, 839]. A notable perception issue is hallucination [840], where the model's responses contain inconsistent content with the image. Among existing studies about hallucination in MLLMs [841, 834, 842], object hallucination [843] has received much research attention. To conduct a stable, robust evaluation of object hallucination, POPE [844] proposes a polling-based object probing approach for converting object recognition into a series of binary questions, and the results indicate that current MLLMs often struggle with object hallucination. Cognition tasks, on the other hand, require MLLMs to perform reasoning based on image perception. A common reasoning task is visual question answering (VQA), where models answer questions about images that demand reasoning about spatial relationships [845], general knowledge [846], or scene text [847]. To fully explore the capabilities of MLLMs, HallusionBench [848] collects 200 sophisticated visual dependent or supplement questions, on which even the most advanced MLLMs like LLaVA-1.5 [831] and GPT-4V [133] fail to achieve good performance.
\(\bullet\)_평가 관점._ MLLM에 대한 평가 작업은 크게 두 가지 유형으로 분류할 수 있습니다: _perception_ 및 _cognition_ 작업입니다. 특히, _perception_ 작업은 이미지 콘텐츠의 기본적인 의미를 이해하는 모델의 능력을 평가하는 것을 목표로 하며, _cognition_ 작업은 지각 결과를 기반으로 추론이 필요한 보다 복잡한 작업을 통해 모델을 평가합니다. perception 능력은 일반적으로 이미지의 속성(_예: 주제 및 스타일)과 객체(_예: 존재 여부 및 색상)에 대한 분류 작업이나 OCR 관련 작업을 통해 평가되며, 기존 데이터 세트 또는 사람이나 LLM [836, 837, 838, 839]에 의해 주석이 달린 기존 이미지에서 파생된 새로운 데이터 세트를 기반으로 합니다. 주목할 만한 perception 문제는 모델의 응답에 이미지와 일관되지 않은 콘텐츠가 포함되는 hallucination [840]입니다. MLLM의 hallucination에 관한 기존 연구 [841, 834, 842] 중 object hallucination [843]에 대한 연구가 많이 이루어졌습니다. object hallucination을 안정적이고 강력하게 평가하기 위해 POPE [844]는 object recognition을 일련의 이진 질문으로 변환하기 위한 polling 기반 object probing 접근 방식을 제안했으며, 그 결과 현재 MLLM은 종종 object hallucination에 어려움을 겪는 것으로 나타났습니다. 반면에 cognition 작업은 MLLM이 이미지 지각을 기반으로 추론을 수행하도록 요구합니다. 일반적인 추론 작업은 visual question answering (VQA)으로, 모델이 공간적 관계 [845], 일반 지식 [846] 또는 장면 텍스트 [847]에 대한 추론을 요구하는 이미지에 대한 질문에 답합니다. MLLM의 기능을 완전히 탐색하기 위해 HallusionBench [848]는 200개의 정교한 시각적 종속 또는 보완 질문을 수집했으며, 이 질문에는 LLaVA-1.5 [831] 및 GPT-4V [133]와 같은 가장 진보된 MLLM도 좋은 성능을 달성하지 못했습니다.
\(\bullet\)_평가 관점._ MLLM에 대한 평가 작업은 크게 두 가지 유형으로 분류할 수 있습니다: 지각_ 및 _인지_ 작업입니다. 특히, _지각_ 작업은 이미지 콘텐츠의 기본적인 의미를 이해하는 모델의 능력을 평가하는 것을 목표로 하며, _인지_ 작업은 지각 결과를 기반으로 추론이 필요한 보다 복잡한 작업을 통해 모델을 평가합니다. 지각 능력은 일반적으로 이미지의 속성(_예: 주제 및 스타일)과 객체(_예: 존재 여부 및 색상)에 대한 분류 작업이나 OCR 관련 작업을 통해 평가되며, 기존 데이터 세트 또는 사람이나 LLM [836, 837, 838, 839]에 의해 주석이 달린 기존 이미지에서 파생된 새로운 데이터 세트를 기반으로 합니다. 주목할 만한 지각 문제는 모델의 응답에 이미지와 일관되지 않은 콘텐츠가 포함되는 환각 [840]입니다. MLLM의 환각에 관한 기존 연구 [841, 834, 842] 중 물체 환각 [843]에 대한 연구가 많이 이루어졌습니다. 물체 환각을 안정적이고 강력하게 평가하기 위해 POPE [844]는 물체 인식을 일련의 이진 질문으로 변환하기 위한 폴링 기반 객체 프로빙 접근 방식을 제안했으며, 그 결과 현재 MLLM은 종종 물체 환각에 어려움을 겪는 것으로 나타났습니다. 반면에 인지 작업은 MLLM이 이미지 지각을 기반으로 추론을 수행하도록 요구합니다. 일반적인 추론 작업은 시각적 질문 답변(VQA)으로, 모델이 공간적 관계 [845], 일반 지식 [846] 또는 장면 텍스트 [847]에 대한 추론을 요구하는 이미지에 대한 질문에 답합니다. MLLM의 기능을 완전히 탐색하기 위해 HallusionBench [848]는 200개의 정교한 시각적 종속 또는 보완 질문을 수집했으며, 이 질문에는 LLaVA-1.5 [831] 및 GPT-4V [133]와 같은 가장 진보된 MLLM도 좋은 성능을 달성하지 못했습니다.