We now extend our method to multi-modal models, and evolve a culturally-specific content aware Japanese VLM. VLMs have recently shown remarkable progress by applying the powerful instruction-following capabilities of pre-trained LLMs. The architecture of a VLM generally consists of three components: (1) A vision encoder to extract image features; (2) An LLM to generate text (for the purpose of describing an image); and (3) A projection network to map image features into the LLM's embedding space [5; 9; 29; 30; 32]. Crucially, the LLM component is initialized with powerful pre-trained LLMs for their text generation capabilities. During training, the projection network and optionally the LLM are trained on various vision-language datasets, while the vision encoder is fixed.
이제 이 방법을 멀티모달 모델로 확장하여 문화적으로 특정한 콘텐츠 인식 일본어 VLM을 진화시킵니다. VLM은 최근 사전 학습된 LLM의 강력한 Instruction-following 기능을 적용하여 놀라운 발전을 보여주었습니다. VLM의 아키텍처는 일반적으로 세 가지 구성 요소로 구성됩니다: (1) 이미지 특징을 추출하는 Vision Encoder, (2) 이미지를 설명하기 위한 텍스트를 생성하는 LLM, (3) 이미지 특징을 LLM의 임베딩 공간에 매핑하는 Projection Network[5; 9; 29; 30; 32]. 결정적으로, LLM 구성 요소는 텍스트 생성 기능을 위해 사전 학습된 강력한 LLM으로 초기화됩니다. 훈련 중에 Projection Network와 선택적으로 LLM은 다양한 Vision-Language 데이터 세트에 대해 훈련되는 반면, Vision Encoder는 고정됩니다.
이제 이 방법을 멀티모달 모델로 확장하여 문화적으로 특정한 콘텐츠 인식 일본어 VLM을 진화시킵니다. VLM은 최근 사전 학습된 LLM의 강력한 명령어 수행 기능을 적용하여 놀라운 발전을 보여주었습니다. VLM의 아키텍처는 일반적으로 세 가지 구성 요소로 구성됩니다: (1) 이미지 특징을 추출하는 비전 인코더, (2) 이미지를 설명하기 위한 텍스트를 생성하는 LLM, (3) 이미지 특징을 LLM의 임베딩 공간에 매핑하는 투영 네트워크[5; 9; 29; 30; 32]. 결정적으로, LLM 구성 요소는 텍스트 생성 기능을 위해 사전 학습된 강력한 LLM으로 초기화됩니다. 훈련 중에 투영 네트워크와 선택적으로 LLM은 다양한 비전 언어 데이터 세트에 대해 훈련되는 반면, 비전 인코더는 고정됩니다.