**Kosmos:** In [98], Huang et al. introduced KOSMOS-1, a Multimodal Large Language Model (MLLM) that can perceive general modalities, learn in context (i.e., few-shot), and follow instructions (i.e. zero-shot). Specifically, they trained KOSMOS-1 from scratch on web-scale multi-modal corpora, including arbitrarily interleaved text and images, image-caption pairs, and text data. Experimental results show that KOSMOS-1 achieves impressive performance on (i) language understanding, generation, and even OCR-free NLP (directly fed with document images), (ii) perception-language tasks, including multimodal dialogue, image captioning, visual question answering, and (iii) vision tasks, such as image recognition with descriptions (specifying classification via text instructions).
**코스모스:** [98]에서 Huang 등은 일반적인 방식을 인식하고, 컨텍스트에서 학습(즉, few-shot)하며, 지침을 따를 수 있는 Multimodal Large Language Model (MLLM)인 KOSMOS-1을 소개했습니다. 특히, 이들은 임의로 인터리브된 텍스트와 이미지, 이미지-캡션 쌍, 텍스트 데이터를 포함한 웹 스케일 멀티모달 코퍼라에 대해 처음부터 KOSMOS-1을 학습시켰습니다. 실험 결과, KOSMOS-1은 (i) 언어 이해, 생성, 심지어 OCR 없는 NLP(문서 이미지를 직접 입력)에서 인상적인 성능을 달성하고, (ii) 멀티모달 대화, 이미지 캡션, 시각적 질문 답변 등의 지각-언어 과제, 그리고 (iii) 설명이 있는 이미지 인식(텍스트 명령어를 통해 분류 지정)과 같은 비전 과제에서 뛰어난 성능을 발휘했습니다.
**코스모스:** [98]에서 Huang 등은 일반적인 방식을 인식하고, 컨텍스트에서 학습(즉, 소수 샷)하며, 지침을 따를 수 있는 다중 모달리티 대규모 언어 모델(MLLM)인 KOSMOS-1을 소개했습니다. 특히, 이들은 임의로 인터리브된 텍스트와 이미지, 이미지-캡션 쌍, 텍스트 데이터를 포함한 웹 스케일 멀티모달 코퍼라에 대해 처음부터 KOSMOS-1을 학습시켰습니다. 실험 결과, KOSMOS-1은 (i) 언어 이해, 생성, 심지어 OCR 없는 NLP(문서 이미지를 직접 입력)에서 인상적인 성능을 달성하고, (ii) 멀티모달 대화, 이미지 캡션, 시각적 질문 답변 등의 지각-언어 과제, 그리고 (iii) 설명이 있는 이미지 인식(텍스트 명령어를 통해 분류 지정)과 같은 비전 과제에서 뛰어난 성능을 발휘했습니다.