DeduplicationAfter filtering, we implement a comprehensive deduplication pipeline following the procedure in Penedo et al. (2023) [56]. This pipeline integrates document-level MinHash deduplication and sub-document exact-match deduplication, effectively identifying and removing duplicate content within and across documents. We further categorize web documents into specific themes using a topic model predicting labels like as news, ads, and knowledge-based content. In the final pretraining dataset, we down-sample less helpful content, mostly advertisements, to ensure information density. The final composition of Yi's pretraining data is shown in Fig. 2.
중복 제거필터링 후, 우리는 Penedo 등(2023) [56]의 절차에 따라 포괄적인 deduplication 파이프라인을 구현합니다. 이 파이프라인은 문서 수준의 MinHash deduplication과 하위 문서 exact-match deduplication을 통합하여 문서 내 및 문서 간의 중복 콘텐츠를 효과적으로 식별하고 제거합니다. 또한 뉴스, 광고, 지식 기반 콘텐츠와 같은 레이블을 예측하는 topic model을 사용하여 웹 문서를 특정 테마로 분류합니다. 최종 pretraining 데이터 세트에서는 정보 밀도를 보장하기 위해 대부분 광고인 덜 유용한 콘텐츠를 down-sampling합니다. Yi의 pretraining 데이터의 최종 구성은 그림 2에 나와 있습니다.
중복 제거필터링 후, 우리는 Penedo 등(2023) [56]의 절차에 따라 포괄적인 중복 제거 파이프라인을 구현합니다. 이 파이프라인은 문서 수준의 MinHash 중복 제거와 하위 문서 정확 일치 중복 제거를 통합하여 문서 내 및 문서 간의 중복 콘텐츠를 효과적으로 식별하고 제거합니다. 또한 뉴스, 광고, 지식 기반 콘텐츠와 같은 레이블을 예측하는 토픽 모델을 사용하여 웹 문서를 특정 테마로 분류합니다. 최종 사전 학습 데이터 세트에서는 정보 밀도를 보장하기 위해 대부분 광고인 덜 유용한 콘텐츠를 다운 샘플링합니다. Yi의 사전 학습 데이터의 최종 구성은 그림 2에 나와 있습니다.