Figure 2: Yi’s pre-training data mixture. Overall our data consist of 3.1T high-quality tokens in Both English and Chinese, and come from various sources. Our major differences from existing known mixtures like LLaMA [76] and Falcon [56] are that we are bilingual, and of higher quality due to our more rigorous cleaning pipeline.
그림 2: Yi의 pre-training 데이터 혼합. 전체적으로 데이터는 영어와 중국어로 된 3.1T의 고품질 토큰으로 구성되어 있으며 다양한 출처에서 제공됩니다. LLaMA [76] 및 Falcon [56]과 같은 기존 알려진 혼합물과의 주요 차이점은 이중 언어이며 더 엄격한 정리 파이프라인으로 인해 더 높은 품질이라는 점입니다.
그림 2: Yi의 사전 학습 데이터 혼합. 전체적으로 데이터는 영어와 중국어로 된 3.1T의 고품질 토큰으로 구성되어 있으며 다양한 출처에서 제공됩니다. LLaMA [76] 및 Falcon [56]과 같은 기존 알려진 혼합물과의 주요 차이점은 이중 언어이며 더 엄격한 정리 파이프라인으로 인해 더 높은 품질이라는 점입니다.