The Yi data mixture is shown in Fig. 2. To produce a high-quality bilingual pretraining data, we meticulously designed a cascaded data-processing pipeline, as illustrated in Fig 1. This pipeline features a series of data-cleaning strategies targeting quality and diversity. We start with web documents from Common Crawl, use the CCNet pipeline [79] for language identification and perplexity scoring. Then we use a combination of filtering and deduplication process, as detailed below.
Yi 데이터 혼합은 Fig. 2에 나와 있습니다. 고품질의 이중 언어 사전 학습 데이터를 생성하기 위해, 우리는 Fig. 1에 설명된 대로 정교하게 설계된 계단식 데이터 처리 파이프라인을 설계했습니다. 이 파이프라인은 품질과 다양성을 목표로 하는 일련의 데이터 정리 전략을 특징으로 합니다. 우리는 Common Crawl의 웹 문서로 시작하여, 언어 식별 및 당혹도 점수를 위해 CCNet 파이프라인 [79]을 사용합니다. 그런 다음 아래에 자세히 설명된 대로 필터링 및 중복 제거 과정을 결합하여 사용합니다.
Yi 데이터 혼합은 Fig. 2에 나와 있습니다. 고품질의 양어 사전 학습 데이터를 생성하기 위해 Fig 1과 같이 일련의 데이터 처리 파이프라인을 세심하게 설계했습니다. 이 파이프라인에는 품질과 다양성을 목표로 하는 일련의 데이터 정리 전략이 포함되어 있습니다. 먼저 Common Crawl의 웹 문서로 시작하여 언어 식별 및 당혹도 점수를 위해 CCNet 파이프라인 [79]을 사용합니다. 그런 다음 아래에서 자세히 설명하는 필터링 및 중복 제거 프로세스를 조합하여 사용합니다.