We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.
강력한 다차원 기능을 보여주는 일련의 언어 및 다중 모달 모델인 Yi 모델 제품군을 소개합니다. Yi 모델 제품군은 6B 및 34B pretrained 언어 모델을 기반으로 하며, 이를 채팅 모델, 200K long context 모델, depth-upscaled 모델, vision-language 모델로 확장합니다. 기본 모델은 MMLU와 같은 다양한 벤치마크에서 강력한 성능을 발휘하며, Fine-tuning된 채팅 모델은 AlpacaEval 및 Chatbot Arena와 같은 주요 평가 플랫폼에서 높은 인간 선호도를 보여줍니다. 확장 가능한 슈퍼 컴퓨팅 인프라와 고전적인 Transformer 아키텍처를 기반으로, Yi 모델의 성능은 주로 데이터 엔지니어링 노력의 결과인 데이터 품질에 기인합니다. Pretraining을 위해 캐스케이드 데이터 중복 제거 및 품질 필터링 파이프라인을 사용하여 3.1조 tokens의 영어 및 중국어 코퍼스를 구축했습니다. Fine-tuning의 경우, 소규모(10K 미만) Instruction 데이터 세트를 여러 반복을 통해 다듬어서 모든 단일 인스턴스가 머신 러닝 엔지니어가 직접 검증할 수 있도록 했습니다. Vision-language의 경우, 채팅 언어 모델과 Vision Transformer Encoder를 결합하고 언어 모델의 시맨틱 공간에 시각적 표현을 정렬하도록 모델을 훈련합니다. 또한 경량 연속 Pretraining을 통해 문맥 길이를 200K까지 확장하고 강력한 needle-in-a-haystack retrieval 성능을 입증했습니다. 연속 Pretraining을 통해 pretrained 체크포인트의 깊이를 확장하면 성능이 더욱 향상됨을 보여주었습니다. 현재의 결과를 고려할 때 철저하게 최적화된 데이터를 사용하여 모델 파라미터를 계속 확장하면 더욱 강력한 프론티어 모델로 발전할 수 있을 것으로 믿습니다.
강력한 다차원 기능을 보여주는 일련의 언어 및 다중 모달 모델인 Yi 모델 제품군을 소개합니다. Yi 모델 제품군은 6B 및 34B 사전 학습된 언어 모델을 기반으로 하며, 이를 채팅 모델, 20만 개의 긴 컨텍스트 모델, 깊이 업스케일링 모델, 비전 언어 모델로 확장합니다. 기본 모델은 MMLU와 같은 다양한 벤치마크에서 강력한 성능을 발휘하며, 파이널튜닝된 채팅 모델은 AlpacaEval 및 Chatbot Arena와 같은 주요 평가 플랫폼에서 높은 인간 선호도를 보여줍니다. 확장 가능한 슈퍼 컴퓨팅 인프라와 고전적인 트랜스포머 아키텍처를 기반으로, Yi 모델의 성능은 주로 데이터 엔지니어링 노력의 결과인 데이터 품질에 기인합니다. 사전 학습을 위해 캐스케이드 데이터 중복 제거 및 품질 필터링 파이프라인을 사용하여 3.1조 토큰의 영어 및 중국어 코퍼스를 구축했습니다. 파이널튜닝의 경우, 소규모(10K 미만) 인스트럭션 데이터 세트를 여러 반복을 통해 다듬어서 모든 단일 인스턴스가 머신 러닝 엔지니어가 직접 검증할 수 있도록 했습니다. 비전 언어의 경우, 채팅 언어 모델과 비전 트랜스포머 인코더를 결합하고 언어 모델의 시맨틱 공간에 시각적 표현을 정렬하도록 모델을 훈련합니다. 또한 경량 연속 사전 학습을 통해 문맥 길이를 200K까지 확장하고 강력한 침-건초더미 검색 성능을 입증했습니다. 연속 사전 학습을 통해 사전 학습 체크포인트의 깊이를 확장하면 성능이 더욱 향상됨을 보여주었습니다. 현재의 결과를 고려할 때 철저하게 최적화된 데이터를 사용하여 모델 파라미터를 계속 확장하면 더욱 강력한 프론티어 모델로 발전할 수 있을 것으로 믿습니다.