\(\bullet\)_Evaluation paradigms._ The responses of MLLMs can be evaluated either in a closed-ended or an open-ended manner. Traditional multimodal tasks often rely on a closed-ended evaluation framework, where the assessment is based on the exact match between the model's response and the ground-truth answer. Examples include the VQA score [849] for visual question answering tasks and the CIDEr [850] score for captioning tasks. However, MLLMs generate responses in an open-ended way, which may contain the correct answer but not exactly match the ground-truth perfectly. This discrepancy can lead to the underestimation of the model's performance in previous evaluation paradigms. To address this issue, recent approaches have incorporated humans or LLMs as evaluators [829]. For instance, MMBench [838] employs ChatGPT to align the model responses with the most relevant option in a set of multiple-choice questions. Similarly, LLaVA [851] utilizes GPT-4 for evaluating MLLMs' output, where GPT-4 takes the generated image captions and object bounding boxes as visual inputs for assessment. Such open-ended evaluation methods can improve assessment accuracy while incurring higher costs due to the involvement of humans or LLMs.
\(\bullet\)_평가 패러다임._ MLLMs의 응답은 폐쇄형 또는 개방형 방식으로 평가될 수 있습니다. 전통적인 멀티모달 작업은 종종 모델의 응답과 정답 간의 정확한 일치를 기반으로 평가하는 폐쇄형 평가 프레임워크에 의존합니다. 예를 들어, 시각적 질문 응답 작업을 위한 VQA 점수 [849]와 캡션 작업을 위한 CIDEr [850] 점수가 있습니다. 그러나 MLLMs는 개방형 방식으로 응답을 생성하며, 이는 정답을 포함할 수 있지만 정답과 정확히 일치하지 않을 수 있습니다. 이러한 불일치는 이전 평가 패러다임에서 모델의 성능을 과소평가하게 만들 수 있습니다. 이 문제를 해결하기 위해 최근 접근 방식에서는 인간 또는 LLM을 평가자로 포함시켰습니다 [829]. 예를 들어, MMBench [838]는 ChatGPT를 사용하여 모델 응답을 여러 선택 질문 세트에서 가장 관련성 높은 옵션과 일치시킵니다. 마찬가지로, LLaVA [851]는 GPT-4를 사용하여 MLLMs의 출력을 평가하며, 여기서 GPT-4는 생성된 이미지 캡션과 객체 경계 상자를 시각적 입력으로 사용하여 평가합니다. 이러한 개방형 평가 방법은 인간 또는 LLM의 참여로 인해 더 높은 비용이 발생하지만 평가 정확성을 향상시킬 수 있습니다.
\(\bullet\)_평가 패러다임._ MLLM의 응답은 폐쇄형 또는 개방형 방식으로 평가할 수 있습니다. 기존의 멀티모달 작업은 종종 폐쇄형 평가 프레임워크에 의존하는데, 이는 모델의 응답과 기준답 사이의 정확한 일치 여부를 기준으로 평가하는 것입니다. 예를 들면 시각적 질문 답변 작업의 경우 VQA 점수[849], 캡션 작업의 경우 CIDEr[850] 점수 등이 있습니다. 그러나 MLM은 개방형 방식으로 응답을 생성하므로 정답을 포함할 수 있지만 기준답과 완벽하게 일치하지 않을 수 있습니다. 이러한 불일치는 이전 평가 패러다임에서 모델의 성능을 과소평가하는 원인이 될 수 있습니다. 이 문제를 해결하기 위해 최근 접근 방식에서는 인간 또는 LLM을 평가자로 통합하고 있습니다[829]. 예를 들어, MMBench[838]는 ChatGPT를 사용하여 모델 응답을 객관식 문제 세트에서 가장 관련성이 높은 옵션과 일치시킵니다. 마찬가지로 LLaVA[851]는 MLLM의 출력을 평가하기 위해 GPT-4를 활용하는데, 여기서 GPT-4는 생성된 이미지 캡션과 객체 경계 상자를 시각적 입력으로 받아 평가합니다. 이러한 개방형 평가 방법은 평가 정확도를 높일 수 있지만 인간이나 LLM의 개입으로 인해 비용이 더 많이 듭니다.