Multi-modality instruction following.Downstream applications of multimodal LLMs require reasoning and instruction following capabilities. Such data are usually long-form question response pairs and are expensive for humans to create. LLaVA (Liu et al., 2024b) uses existing image captions to prompt GPT-4 (in text-only mode) for writing diverse and long-form prompt-answer pairs. During multimodal LLM training, images and prompts are used as input while the captions and bounding box information can be hidden. Besides image captions, other sources of image attribute information such as object bounding box (Zhao et al., 2023), OCR (Zhang et al., 2023d) and deredered charts (Carbune et al., 2024; Masry et al., 2023) can all fit into such as image attributes + text LLM rewriting synthetic data pipeline.
다중 모달리티 Instruction 따라하기. 멀티모달 LLM의 다운스트림 애플리케이션에는 추론 및 Instruction 수행 기능이 필요합니다. 이러한 데이터는 일반적으로 긴 형식의 질문 응답 쌍이며 사람이 작성하기에는 비용이 많이 듭니다. LLaVA(Liu et al., 2024b)는 기존 이미지 캡션을 사용하여 다양하고 장문의 프롬프트-답변 쌍을 작성하기 위해 GPT-4(텍스트 전용 모드)를 프롬프트합니다. 멀티모달 LLM 훈련 중에 이미지와 프롬프트는 입력으로 사용되며 캡션과 바운딩 박스 정보는 숨길 수 있습니다. 이미지 캡션 외에도 객체 바운딩 박스(Zhao et al., 2023), OCR(Zhang et al., 2023d), 디더링된 차트(Carbune et al., 2024; Masry et al., 2023)와 같은 다른 이미지 속성 정보 소스도 이미지 속성 + 텍스트 LLM 재작성 합성 데이터 파이프라인에 모두 적용될 수 있습니다.
다중 모달리티 명령어 따라하기.멀티모달 LLM의 다운스트림 애플리케이션에는 추론 및 명령어 수행 기능이 필요합니다. 이러한 데이터는 일반적으로 긴 형식의 질문 응답 쌍이며 사람이 작성하기에는 비용이 많이 듭니다. LLaVA(Liu et al., 2024b)는 기존 이미지 캡션을 사용하여 다양하고 장문의 프롬프트-답변 쌍을 작성하기 위해 GPT-4(텍스트 전용 모드)를 프롬프트합니다. 멀티모달 LLM 훈련 중에 이미지와 프롬프트는 입력으로 사용되며 캡션과 바운딩 박스 정보는 숨길 수 있습니다. 이미지 캡션 외에도 객체 바운딩 박스(Zhao et al., 2023), OCR(Zhang et al., 2023d), 디더링된 차트(Carbune et al., 2024; Masry et al., 2023)와 같은 다른 이미지 속성 정보 소스도 이미지 속성 + 텍스트 LLM 재작성 합성 데이터 파이프라인에 모두 적용될 수 있습니다.