* _Vision-language alignment pre-training._ To develop MLLMs, existing work mostly initializes the vision encoder and the LLM with pre-trained models [149, 826, 150]. These models retain excellent vision and language capacities, but span different semantic spaces. Thus, the goal of vision-language alignment pre-training (_i.e._, the first-stage training) is to align the vision encoder and the LLM through end-to-end training on large-scale image-text pairs [827, 828]. However, directly tuning these two models on image-text pairs may cause the degradation of the original representation capacities. To improve the alignment performance, it is crucial to design effective training strategies and select appropriate pre-training data [829, 830]. Existing work mainly employs the following strategies for cross-modality alignment: (1) if the number of image-text pairs is not sufficiently large (_e.g._, less than 1M), it is often suggested to only update the connection module [831]; (2) if the training data includes high-quality text corpora [832] or image-text pairs with fine-grained annotations [833], fine-tuning the LLM can be conducted to boost the performance; (3) if the number of image-text pairs is very large (_e.g._, about 1B), fine-tuning the vision encoder is also plausible [829, 830], but the benefit remains further verification. * _Visual instruction tuning._ After vision-language pre-training, the second-stage training, _i.e._, visual instruction tuning, aims to improve the instruction-following and task-solving abilities of MLLMs. Generally, the input of visual instruction tuning consists of an image and a task description, and the task is to generate a corresponding text output. To boost the performance, high-quality visual instruction data is key to eliciting and enhancing the abilities of MLLMs. Therefore, most studies are dedicated to constructing various visual instruction datasets. As the basic approaches, early studies construct visual instructions by distilling from GPT-4 [149] or reformulating vision-language task datasets [151]. To enhance the quality of instruction data, recent work further proposes improved strategies by increasing the instruction diversity [834], incorporating fine-grained information (_e.g._, coordinate of objects) into the instruction [833], or synthesizing complex visual reasoning instructions [835].
* _비전-언어 정렬 사전 학습._ MLLM을 개발하기 위해 기존 작업은 대부분 비전 Encoder와 LLM을 사전 학습된 모델[149, 826, 150]로 초기화합니다. 이러한 모델은 뛰어난 비전 및 언어 기능을 유지하지만 서로 다른 의미 공간에 걸쳐 있습니다. 따라서 비전 언어 정렬 사전 학습(_즉, 1단계 학습)의 목표는 대규모 이미지-텍스트 쌍에 대한 엔드투엔드 학습을 통해 비전 Encoder와 LLM을 정렬하는 것입니다[827, 828]. 그러나 이 두 모델을 이미지-텍스트 쌍에 대해 직접 튜닝하면 원래의 표현 능력이 저하될 수 있습니다. 정렬 성능을 개선하려면 효과적인 훈련 전략을 설계하고 적절한 사전 훈련 데이터를 선택하는 것이 중요합니다[829, 830]. 기존 연구에서는 크로스 모달리티 정렬을 위해 주로 다음과 같은 전략을 사용합니다: (1) 이미지-텍스트 쌍의 수가 충분히 많지 않은 경우(_예: 1M 미만) 연결 모듈만 업데이트하는 것이 좋습니다[831]; (2) 훈련 데이터에 고품질 텍스트 코퍼스 [832] 또는 세분화된 주석이 있는 이미지-텍스트 쌍 [833]이 포함된 경우, 성능을 높이기 위해 LLM을 Fine-tuning할 수 있습니다; (3) 이미지-텍스트 쌍의 수가 매우 많은 경우(예: 약 1B) 비전 Encoder를 Fine-tuning하는 것도 그럴듯하지만[829, 830], 그 이점은 추가 검증이 필요합니다. * _시각적 Instruction Tuning._ 시각 언어 사전 학습 후 2단계 학습, 즉 시각적 Instruction Tuning은 MLLM의 Instruction 추종 및 작업 해결 능력을 향상시키는 것을 목표로 합니다. 일반적으로 시각적 Instruction Tuning의 입력은 이미지와 작업 설명으로 구성되며, 작업은 해당 텍스트 출력을 생성하는 것입니다. 성능을 높이기 위해서는 고품질의 시각적 Instruction 데이터가 MLLM의 능력을 이끌어내고 향상시키는 데 핵심입니다. 따라서 대부분의 연구는 다양한 시각적 Instruction 데이터 세트를 구성하는 데 전념하고 있습니다. 기본 접근 방식으로 초기 연구에서는 GPT-4[149]를 증류하거나 비전 언어 작업 데이터 세트[151]를 개작하여 시각적 Instruction을 구성합니다. Instruction 데이터의 품질을 높이기 위해 최근 연구에서는 Instruction 다양성을 높이고[834], Instruction에 세분화된 정보(예: 물체 좌표)를 통합하거나[833], 복잡한 시각적 추론 Instruction을 합성하는 등 개선된 전략을 제안하고 있습니다[835].
* _비전-언어 정렬 사전 학습._ MLLM을 개발하기 위해 기존 작업은 대부분 비전 인코더와 LLM을 사전 학습된 모델[149, 826, 150]로 초기화합니다. 이러한 모델은 뛰어난 비전 및 언어 기능을 유지하지만 서로 다른 의미 공간에 걸쳐 있습니다. 따라서 비전 언어 정렬 사전 학습(_즉, 1단계 학습)의 목표는 대규모 이미지-텍스트 쌍에 대한 엔드투엔드 학습을 통해 비전 인코더와 LLM을 정렬하는 것입니다[827, 828]. 그러나 이 두 모델을 이미지-텍스트 쌍에 대해 직접 튜닝하면 원래의 표현 능력이 저하될 수 있습니다. 정렬 성능을 개선하려면 효과적인 훈련 전략을 설계하고 적절한 사전 훈련 데이터를 선택하는 것이 중요합니다[829, 830]. 기존 연구에서는 크로스 모달리티 정렬을 위해 주로 다음과 같은 전략을 사용합니다: (1) 이미지-텍스트 쌍의 수가 충분히 많지 않은 경우(_예: 1M 미만) 연결 모듈만 업데이트하는 것이 좋습니다[831]; (2) 훈련 데이터에 고품질 텍스트 코퍼스 [832] 또는 세분화된 주석이 있는 이미지-텍스트 쌍 [833]이 포함된 경우, 성능을 높이기 위해 LLM을 미세 조정할 수 있습니다; (3) 이미지-텍스트 쌍의 수가 매우 많은 경우(예: 약 1B) 비전 인코더를 미세 조정하는 것도 그럴듯하지만[829, 830], 그 이점은 추가 검증이 필요합니다. * _시각적 지침 튜닝._ 시각 언어 사전 학습 후 2단계 학습, 즉 시각적 지침 튜닝은 MLLM의 지침 추종 및 작업 해결 능력을 향상시키는 것을 목표로 합니다. 일반적으로 시각적 지시 튜닝의 입력은 이미지와 작업 설명으로 구성되며, 작업은 해당 텍스트 출력을 생성하는 것입니다. 성능을 높이기 위해서는 고품질의 시각적 지시 데이터가 MLLM의 능력을 이끌어내고 향상시키는 데 핵심입니다. 따라서 대부분의 연구는 다양한 시각적 지시 데이터 세트를 구성하는 데 전념하고 있습니다. 기본 접근 방식으로 초기 연구에서는 GPT-4[149]를 증류하거나 비전 언어 작업 데이터 세트[151]를 개작하여 시각적 지시를 구성합니다. 지침 데이터의 품질을 높이기 위해 최근 연구에서는 지침 다양성을 높이고[834], 지침에 세분화된 정보(예: 물체 좌표)를 통합하거나[833], 복잡한 시각적 추론 지침을 합성하는 등 개선된 전략을 제안하고 있습니다[835].