In existing literature [823, 824], multimodal models mainly refer to the models that can process and integrate information of various modalities (_e.g._, text, image, and audio) from input, and further produce corresponding output in certain modalities. In this part, we mainly focus on the multimodal extension of LLMs by enabling the information modeling of non-textual modalities, especially the vision modality, called _multimodal large language models (MLLMs)_[797]49. To start our discussion, we specify the input to be text-image pairs and the output to be text responses. Similar discussions can be made for other modalities, _e.g._, language-audio models [825], which is beyond our scope here. In essence, MLLMs are developed by adapting the information from other modalities to the text modality, so as to leverage the excellent model capacities of LLMs that are learned based on world text. Typically, a MLLM comprises an image encoder for image encoding and a LLM for text generation, associated by a connection module that aligns vision and language representations. During generation, the image is first split into patches, and then transformed into patch embeddings by the image encoder and the connection module, to derive a visual representation that can be understood by the LLM. Subsequently, the patch embeddings and text embeddings are concatenated, and fed into the MLLM, allowing the language model to generate the response autoregressively. In the following, we will discuss the training, evaluation, and key points to develop capable MLLMs.
기존 문헌[823, 824]에서 멀티모달 모델은 주로 입력에서 다양한 모달리티(_예: 텍스트, 이미지, 오디오)의 정보를 처리하고 통합하여 특정 모달리티에서 해당 출력을 생성할 수 있는 모델을 말합니다. 이 부분에서는 텍스트가 아닌 모달리티, 특히 비전 모달리티의 정보 모델링을 가능하게 하여 LLM을 확장하는 멀티모달 접근 방식에 주로 초점을 맞추며, 이를 _multimodal large language models (MLLMs)_[797]49라고 합니다. 논의를 시작하기 위해 입력은 텍스트-이미지 쌍이고 출력은 텍스트 응답이라고 가정합니다. 여기서는 범위를 벗어나는 다른 모달리티, _예를 들어 language-audio models[825]에 대해서도 유사한 논의가 이루어질 수 있습니다. 본질적으로 MLLMs은 다른 모달리티의 정보를 텍스트 모달리티에 적용하여 세계 텍스트를 기반으로 학습된 LLM의 우수한 모델 용량을 활용하여 개발됩니다. 일반적으로 MLLM은 이미지 인코딩을 위한 image encoder와 텍스트 생성을 위한 LLM으로 구성되며, 시각과 언어 표현을 정렬하는 연결 모듈로 연결됩니다. 생성 중에 이미지는 먼저 패치로 분할된 다음 image encoder와 연결 모듈에 의해 패치 임베딩으로 변환되어 LLM이 이해할 수 있는 시각적 표현을 도출합니다. 그런 다음 패치 임베딩과 텍스트 임베딩을 연결하여 MLLM에 공급함으로써 언어 모델이 응답을 자동 회귀적으로 생성할 수 있도록 합니다. 다음에서는 능력 있는 MLLM을 개발하기 위한 훈련, 평가 및 핵심 사항에 대해 설명합니다.
기존 문헌[823, 824]에서 멀티모달 모델은 주로 입력에서 다양한 모달리티(_예: 텍스트, 이미지, 오디오)의 정보를 처리하고 통합하여 특정 모달리티에서 해당 출력을 생성할 수 있는 모델을 말합니다. 이 부분에서는 텍스트가 아닌 모달리티, 특히 비전 모달리티의 정보 모델링을 가능하게 하여 LLM을 확장하는 멀티모달 접근 방식에 주로 초점을 맞추며, 이를 _멀티모달 대규모 언어 모델(MMLM)_[797]49라고 합니다. 논의를 시작하기 위해 입력은 텍스트-이미지 쌍이고 출력은 텍스트 응답이라고 가정합니다. 여기서는 범위를 벗어나는 다른 모달리티, _예를 들어 언어-오디오 모델[825]에 대해서도 유사한 논의가 이루어질 수 있습니다. 본질적으로 MLLM은 다른 모달리티의 정보를 텍스트 모달리티에 적용하여 세계 텍스트를 기반으로 학습된 LLM의 우수한 모델 용량을 활용하여 개발됩니다. 일반적으로 MLLM은 이미지 인코딩을 위한 이미지 인코더와 텍스트 생성을 위한 LLM으로 구성되며, 시각과 언어 표현을 정렬하는 연결 모듈로 연결됩니다. 생성 중에 이미지는 먼저 패치로 분할된 다음 이미지 인코더와 연결 모듈에 의해 패치 임베딩으로 변환되어 LLM이 이해할 수 있는 시각적 표현을 도출합니다. 그런 다음 패치 임베딩과 텍스트 임베딩을 연결하여 MLLM에 공급함으로써 언어 모델이 응답을 자동 회귀적으로 생성할 수 있도록 합니다. 다음에서는 능력 있는 MLLM을 개발하기 위한 훈련, 평가 및 핵심 사항에 대해 설명합니다.