\(\bullet\)_Model training._ Different from LLMs, MLLMs are not trained from scratch, but instead developed based on pre-trained language and vision models. Existing work employs a typical two-stage approach for training MLLMs, _i.e.,_ vision-language alignment pre-training and visual instruction tuning. In essence, existing MLLMs aim to (1) preserve the inherent capabilities and parametric knowledge of LLMs as possible, and meanwhile (2) effectively adapt to multimodal tasks by leveraging the pre-trained LLMs and visual encoders. To achieve the above two goals, two typical training strategies are often employed for visual instruction tuning, either only optimizing the connection module [151] or fine-tuning both the connector module and LLM component [851]. As we can see, the former can reserve the original capacities of LLMs but likely have a weak an adaptation performance, while the latter can fully adapt to multimodal tasks but suffer from the loss of original capacities of LLMs. More efforts should be made to investigate how to effectively balance the two aspects, so as to achieving improved multimodal capacities. In addition, existing MLLMs are still overly dependent on the capacities of LLMs, which pose the limits on many multimodal tasks (_e.g.,_ space positioning). It will be meaningful to explore improved training approaches of language models, so that multimodal information can be also utilized in this process.
\(\bullet\)_모델 학습._ MLLM은 LLM과 달리 처음부터 학습하지 않고 사전 학습된 언어 및 비전 모델을 기반으로 개발됩니다. 기존 연구에서는 MLLM 학습을 위해 일반적인 2단계 접근 방식, 즉 비전-언어 정렬 사전 학습과 시각적 Instruction Tuning을 사용합니다. 기존 MLLM은 본질적으로 (1) LLM의 고유한 기능과 파라메트릭 지식을 최대한 보존하는 동시에 (2) 사전 학습된 LLM과 시각 Encoder를 활용하여 다중 모달 작업에 효과적으로 적응하는 것을 목표로 합니다. 위의 두 가지 목표를 달성하기 위해 시각적 Instruction Tuning에는 연결 모듈만 최적화하거나 커넥터 모듈과 LLM 구성 요소를 모두 Fine-tuning하는 두 가지 일반적인 훈련 전략이 종종 사용됩니다[851]. 앞서 언급했듯이 전자는 LLM의 원래 기능을 유지할 수 있지만 적응 성능이 약할 수 있고, 후자는 다중 모달 작업에 완전히 적응할 수 있지만 LLM의 원래 기능이 손실될 수 있습니다. 다중 모달 기능을 개선하기 위해서는 두 가지 측면의 균형을 효과적으로 맞추는 방법을 연구하는 노력이 더욱 필요합니다. 또한 기존의 MLLM은 여전히 LLM의 역량에 지나치게 의존하고 있어 많은 다중 모달 작업(_예:_ 공간 위치 지정)에 한계가 있습니다. 이 과정에서 다중 모달 정보도 활용할 수 있도록 언어 모델의 개선된 훈련 접근 방식을 탐구하는 것은 의미가 있을 것입니다.
\(\bullet\)_모델 학습._ MLLM은 LLM과 달리 처음부터 학습하지 않고 사전 학습된 언어 및 비전 모델을 기반으로 개발됩니다. 기존 연구에서는 MLLM 학습을 위해 일반적인 2단계 접근 방식, 즉 비전-언어 정렬 사전 학습과 시각적 지침 튜닝을 사용합니다. 기존 MLLM은 본질적으로 (1) LLM의 고유한 기능과 파라메트릭 지식을 최대한 보존하는 동시에 (2) 사전 학습된 LLM과 시각 인코더를 활용하여 다중 모달 작업에 효과적으로 적응하는 것을 목표로 합니다. 위의 두 가지 목표를 달성하기 위해 시각적 지시 튜닝에는 연결 모듈만 최적화하거나 커넥터 모듈과 LLM 구성 요소를 모두 미세 조정하는 두 가지 일반적인 훈련 전략이 종종 사용됩니다[851]. 앞서 언급했듯이 전자는 LLM의 원래 기능을 유지할 수 있지만 적응 성능이 약할 수 있고, 후자는 다중 모달 작업에 완전히 적응할 수 있지만 LLM의 원래 기능이 손실될 수 있습니다. 다중 모달 기능을 개선하기 위해서는 두 가지 측면의 균형을 효과적으로 맞추는 방법을 연구하는 노력이 더욱 필요합니다. 또한 기존의 MLLM은 여전히 LLM의 역량에 지나치게 의존하고 있어 많은 다중 모달 작업(_예:_ 공간 위치 지정)에 한계가 있습니다. 이 과정에서 다중 모달 정보도 활용할 수 있도록 언어 모델의 개선된 훈련 접근 방식을 탐구하는 것은 의미가 있을 것입니다.