**Stage 1:**: we train the parameters of the ViT and the projection module using an image resolution of \(224^{2}\). The training leverages a substantial dataset comprising \(100\) million image-text pairs from LAION-400M [66]. The primary objective is to enhance the ViT's knowledge acquisition within our specified architecture and to achieve better alignment between the ViT and the LLM. **Stage 2:**: we scale up the image resolution of ViT to \(448^{2}\), aiming to further boost the model's capability for discerning intricate visual details. The dataset used in this stage includes \(20\) million image-text pairs derived from LAION-400M. Additionally, we incorporate around \(4.8\) million image-text pairs from diverse sources, _e.g._, CLLaVA [45], LLaVAR [91], Flickr [85], VQAv2 [25], RefCOCO [37], Visual7w [95] and so on. **Stage 3:**: the parameters of the entire model are trained. The primary goal is to enhance the model's proficiency in multimodal chat interactions, thereby endowing it with the ability to seamlessly integrate and interpret visual and linguistic inputs. To this end, the training dataset encompasses a diverse range of sources, totalling approximately \(1\) million image-text pairs, including GQA [32], VizWiz VQA [26], TextCaps [71], OCR-VQA [51], Visual Genome [39], ShareGPT4V [6] and so on. To ensure data balancing, we impose a cap on the maximum data contribution from any single source, restricting it to no more than \(50,000\) pairs.
**1단계**: 이미지 해상도 \(224^{2}\)를 사용하여 ViT와 projection 모듈의 매개변수를 훈련합니다. 훈련은 LAION-400M[66]의 1억 개 image-text 쌍으로 구성된 방대한 데이터 세트를 활용합니다. 주요 목표는 지정된 아키텍처 내에서 ViT의 지식 습득을 향상시키고 ViT와 LLM 간의 정렬을 개선하는 것입니다. **2단계**: ViT의 이미지 해상도를 \(448^{2}\)로 확장하여 복잡한 시각적 세부 사항을 식별하는 모델의 기능을 더욱 향상시키는 것을 목표로 합니다. 이 단계에서 사용되는 데이터 세트에는 LAION-400M에서 파생된 2천만 개의 image-text 쌍이 포함됩니다. 또한 다양한 소스(예: CLLaVA [45], LLaVAR [91], Flickr [85], VQAv2 [25], RefCOCO [37], Visual7w [95] 등)에서 약 480만 개의 image-text 쌍을 통합합니다. **3단계**: 전체 모델의 파라미터를 훈련합니다. 주요 목표는 멀티모달 채팅 상호 작용에서 모델의 숙련도를 향상시켜 시각적 및 언어적 입력을 원활하게 통합하고 해석할 수 있는 능력을 부여하는 것입니다. 이를 위해 훈련 데이터 세트에는 GQA [32], VizWiz VQA [26], TextCaps [71], OCR-VQA [51], Visual Genome [39], ShareGPT4V [6] 등을 포함하여 약 100만 개의 image-text 쌍으로 구성된 다양한 소스가 포함됩니다. 데이터 균형을 보장하기 위해 단일 소스의 최대 데이터 기여도를 제한하여 50,000쌍 이하로 제한합니다.
**1단계**: 이미지 해상도 \(224^{2}\)를 사용하여 ViT와 투영 모듈의 매개변수를 훈련합니다. 훈련은 LAION-400M[66]의 1억 개 이미지-텍스트 쌍으로 구성된 방대한 데이터 세트를 활용합니다. 주요 목표는 지정된 아키텍처 내에서 ViT의 지식 습득을 향상시키고 ViT와 LLM 간의 정렬을 개선하는 것입니다. **2단계**: ViT의 이미지 해상도를 \(448^{2}\)로 확장하여 복잡한 시각적 세부 사항을 식별하는 모델의 기능을 더욱 향상시키는 것을 목표로 합니다. 이 단계에서 사용되는 데이터 세트에는 LAION-400M에서 파생된 2천만 개의 이미지-텍스트 쌍이 포함됩니다. 또한 다양한 소스(예: CLLaVA [45], LLaVAR [91], Flickr [85], VQAv2 [25], RefCOCO [37], Visual7w [95] 등)에서 약 480만 개의 이미지-텍스트 쌍을 통합합니다. **3단계**: 전체 모델의 파라미터를 훈련합니다. 주요 목표는 멀티모달 채팅 상호 작용에서 모델의 숙련도를 향상시켜 시각적 및 언어적 입력을 원활하게 통합하고 해석할 수 있는 능력을 부여하는 것입니다. 이를 위해 훈련 데이터 세트에는 GQA [32], VizWiz VQA [26], TextCaps [71], OCR-VQA [51], Visual Genome [39], ShareGPT4V [6] 등을 포함하여 약 100만 개의 이미지-텍스트 쌍으로 구성된 다양한 소스가 포함됩니다. 데이터 균형을 보장하기 위해 단일 소스의 최대 데이터 기여도를 제한하여 50,000쌍 이하로 제한합니다.