\(\bullet\)_Visual instruction data._ Extensive work [856, 831] has empirically found that both quantity and quality of visual instructions have an important impact on model performance of MLLMs. One basic way to construct visual instructions is to leverage the exceptional capability of LLMs to synthesize instructions based on text descriptions of images [851]. To further enhance the quality of instructions, one can construct fine-grained visual instructions with the help of human annotation [857, 833] or synthesize more complex data through carefully-designed prompts [835]. Despite the effectiveness of the above LLM-based approaches, one primary question emerges as to whether a LLM (_i.e._, text generation model without training on any images) possesses the ability to generate sufficiently good visual instructions solely based on verbalized visual information (_e.g._, captions and coordinates). Specially, existing work has also revealed that visual instructions generated by LLMs sometimes contain misinterpretations about the visual information, _e.g._, object hallucination [844]. Therefore, it is crucial to design effective verification methods to control the quality of instruction data generated by LLMs [835]. Furthermore, it still needs more investigation about what makes good visual instructions and how visual instructions elicit specific multimodal abilities in MLLMs.
\(\bullet\)_Visual instruction data._ 광범위한 연구[856, 831]에 따르면 시각적 지침의 양과 질 모두 MLLM의 모델 성능에 중요한 영향을 미치는 것으로 나타났습니다. 시각적 지침을 구성하는 기본적인 방법 중 하나는 이미지에 대한 텍스트 설명을 기반으로 지침을 합성하는 LLM의 뛰어난 기능을 활용하는 것입니다[851]. 지침의 품질을 더욱 향상시키기 위해 사람의 주석[857, 833]을 통해 세분화된 시각적 지침을 구성하거나 신중하게 설계된 prompts[835]를 통해 더 복잡한 데이터를 합성할 수 있습니다. 위의 LLM 기반 접근법의 효과에도 불구하고, LLM(_즉, 이미지에 대한 학습이 없는 텍스트 생성 모델_)이 언어화된 시각 정보(_e.g._, captions 및 coordinates)만을 기반으로 충분히 좋은 시각적 지침을 생성할 수 있는 능력을 가지고 있는지에 대한 주요 질문이 제기되고 있습니다. 특히, 기존 연구에 따르면 LLM이 생성한 시각적 지침에는 때때로 시각적 정보에 대한 오해, _e.g._, object hallucination[844]이 포함되어 있는 것으로 나타났습니다. 따라서 LLM이 생성한 지침 데이터의 품질을 제어하기 위해 효과적인 verification 방법을 설계하는 것이 중요합니다[835]. 또한 좋은 시각적 지침이 되는 요소와 시각적 지침이 MLLM에서 특정 다중 모달리티 능력을 이끌어내는 방식에 대한 연구가 더 필요합니다.
\(\bullet\)_시각적 지침 데이터._ 광범위한 연구[856, 831]에 따르면 시각적 지침의 양과 질 모두 MLLM의 모델 성능에 중요한 영향을 미치는 것으로 나타났습니다. 시각적 지침을 구성하는 기본적인 방법 중 하나는 이미지에 대한 텍스트 설명을 기반으로 지침을 합성하는 LLM의 뛰어난 기능을 활용하는 것입니다[851]. 지침의 품질을 더욱 향상시키기 위해 사람의 주석[857, 833]을 통해 세분화된 시각적 지침을 구성하거나 신중하게 설계된 프롬프트[835]를 통해 더 복잡한 데이터를 합성할 수 있습니다. 위의 LLM 기반 접근법의 효과에도 불구하고, LLM(_즉, 이미지에 대한 학습이 없는 텍스트 생성 모델)이 언어화된 시각 정보(예: 캡션 및 좌표)만을 기반으로 충분히 좋은 시각적 지침을 생성할 수 있는 능력을 가지고 있는지에 대한 주요 질문이 제기되고 있습니다. 특히, 기존 연구에 따르면 LLM이 생성한 시각적 지침에는 때때로 시각적 정보에 대한 오해, 예를 들어 사물 환각[844]이 포함되어 있는 것으로 나타났습니다. 따라서 LLM이 생성한 지침 데이터의 품질을 제어하기 위해 효과적인 검증 방법을 설계하는 것이 중요합니다[835]. 또한 좋은 시각적 지침이 되는 요소와 시각적 지침이 MLLM에서 특정 다중 모달리티 능력을 이끌어내는 방식에 대한 연구가 더 필요합니다.