Reverse rendering from vision to text.Vision-language alignment data focuses on accurately grounding visual input to an LLM (usually via a vision encoder). Web-scraped image-caption pairs have been the most popular MM alignment data in the past few years since CLIP (Radford et al., 2021) and ALIGN (Jia et al., 2021). However, web-scraped image-text pairs are usually noisy and only have coarse-grained correspondence, insufficient for grounding details of images in language. In domains such as documents, screens, figures, and diagrams, such fine-grained alignment can most conveniently be obtained from data synthesis pipelines built with image rendering engines. Pix2Struct (Lee et al., 2023) uses web servers to render HTML code into website screenshots, and the training task is to dereder a masked screenshot to the full HTML code. MatCha (Liu et al., 2023b) and DePlot (Liu et al., 2023a) render tabular data into charts with Python plotting libraries and pretrain a foundation model by giving the rendered image and producing the code and/or the tabular data. Si et al. (2024) and Laurencon et al. (2024) train on synthetically generated HTML and CSS files for the task of converting webpage screenshots into code implementation. The models finetuned on the synthetic data can generalize reasonably well on realistic data scraped from the Internet. Borkman et al. (2021) propose to use physics engines or game engines (e.g., Unity) as the synthetic data generator to help computer vision research.
비전에서 텍스트로의 렌더링 반전. Vision-language alignment 데이터는 일반적으로 vision encoder를 통해 LLM에 시각적 입력을 정확하게 접지하는 데 중점을 둡니다. 웹 스크랩한 이미지-캡션 쌍은 CLIP(Radford et al., 2021) 및 ALIGN(Jia et al., 2021) 이후 지난 몇 년 동안 가장 인기 있는 MM alignment 데이터였습니다. 그러나 웹 스크랩한 이미지-텍스트 쌍은 일반적으로 노이즈가 많고 대략적인 대응만 가지고 있어 이미지의 세부 사항을 언어로 접지하기에는 불충분합니다. 문서, 화면, 그림, 도표와 같은 도메인에서는 이미지 렌더링 엔진으로 구축된 데이터 합성 파이프라인에서 가장 세밀한 alignment를 얻을 수 있습니다. Pix2Struct(Lee et al., 2023)은 웹 서버를 사용하여 HTML 코드를 웹사이트 스크린샷으로 렌더링하며, 마스킹된 스크린샷을 전체 HTML 코드로 디더링하는 것이 훈련 과제입니다. MatCha(Liu et al., 2023b)와 DePlot(Liu et al., 2023a)은 Python 플로팅 라이브러리를 사용하여 표 형식의 데이터를 차트로 렌더링하고, 렌더링된 이미지를 제공하고 코드 및/또는 표 형식의 데이터를 생성하여 기반 모델을 사전 학습합니다. Si et al. (2024)과 Laurencon et al. (2024)은 웹 페이지 스크린샷을 코드 구현으로 변환하는 작업을 위해 합성적으로 생성된 HTML 및 CSS 파일을 학습합니다. 합성 데이터에 대해 Fine-tuning된 모델은 인터넷에서 스크랩한 실제 데이터에서도 합리적으로 잘 일반화할 수 있습니다. Borkman et al. (2021)은 컴퓨터 비전 연구에 도움이 되도록 물리 엔진 또는 게임 엔진(예: Unity)을 합성 데이터 생성기로 사용할 것을 제안합니다.
비전에서 텍스트로의 렌더링 반전.비전-언어 정렬 데이터는 일반적으로 비전 인코더를 통해(LLM에) 시각적 입력을 정확하게 접지하는 데 중점을 둡니다. 웹 스크랩한 이미지-캡션 쌍은 CLIP(Radford et al., 2021) 및 ALIGN(Jia et al., 2021) 이후 지난 몇 년 동안 가장 인기 있는 MM 정렬 데이터였습니다. 그러나 웹 스크랩한 이미지-텍스트 쌍은 일반적으로 노이즈가 많고 대략적인 대응만 가지고 있어 이미지의 세부 사항을 언어로 접지하기에는 불충분합니다. 문서, 화면, 그림, 도표와 같은 도메인에서는 이미지 렌더링 엔진으로 구축된 데이터 합성 파이프라인에서 가장 세밀한 정렬을 얻을 수 있습니다. Pix2Struct(Lee et al., 2023)은 웹 서버를 사용하여 HTML 코드를 웹사이트 스크린샷으로 렌더링하며, 마스킹된 스크린샷을 전체 HTML 코드로 디더링하는 것이 훈련 과제입니다. MatCha(Liu et al., 2023b)와 DePlot(Liu et al., 2023a)은 Python 플로팅 라이브러리를 사용하여 표 형식의 데이터를 차트로 렌더링하고, 렌더링된 이미지를 제공하고 코드 및/또는 표 형식의 데이터를 생성하여 기반 모델을 사전 학습합니다. Si et al. (2024)과 Laurencon et al. (2024)은 웹 페이지 스크린샷을 코드 구현으로 변환하는 작업을 위해 합성적으로 생성된 HTML 및 CSS 파일을 학습합니다. 합성 데이터에 대해 미세 조정된 모델은 인터넷에서 스크랩한 실제 데이터에서도 합리적으로 잘 일반화할 수 있습니다. Borkman et al. (2021)은 컴퓨터 비전 연구에 도움이 되도록 물리 엔진 또는 게임 엔진(예: Unity)을 합성 데이터 생성기로 사용할 것을 제안합니다.