In this subsection, we describe how we curate _CC-dedup_, the starting source dataset used throughout the paper. We start with 5 CommonCrawl dumps 2 which range from 2017 to 2020. We then use CC-net [54], to de-duplicate data at the paragraph level, remove non-English web pages, and filter out low-quality pages. The pipeline we use is identical to the pipeline used in Touvron et al. [50] (see the section after the subtitle "English CommonCrawl [67%]", within Section 2).
이 하위 섹션에서는 논문 전체에 사용되는 시작 소스 데이터 집합인 _CC-dedup_을 큐레이션하는 방법을 설명합니다. 먼저 2017년부터 2020년까지의 5개의 CommonCrawl 덤프 2로 시작합니다. 그런 다음 CC-net [54]을 사용하여 단락 수준에서 데이터를 중복 제거하고, 영어가 아닌 웹 페이지를 제거하며, 품질이 낮은 페이지를 걸러냅니다. 우리가 사용하는 pipeline은 Touvron et al. [50]에서 사용된 pipeline과 동일합니다(2절의 "English CommonCrawl [67%]"이라는 부제 뒤에 있는 섹션 참조).
이 하위 섹션에서는 논문 전체에 사용되는 시작 소스 데이터 집합인 _CC-dedup_을 큐레이션하는 방법을 설명합니다. 먼저 2017년부터 2020년까지의 5개의 CommonCrawl 덤프 2로 시작합니다. 그런 다음 CC-net [54]을 사용하여 단락 수준에서 데이터를 중복 제거하고, 영어가 아닌 웹 페이지를 제거하며, 품질이 낮은 페이지를 걸러냅니다. 우리가 사용하는 파이프라인은 Touvron et al. [50]에서 사용된 파이프라인과 동일합니다(2절의 "영어 CommonCrawl [67%]"이라는 부제 뒤에 있는 섹션 참조).