The primary pretraining corpus in our experiments is Colossal Clean Crawled Corpus (C4), a curated English text dataset comprising over 170 billion tokens. This corpus is derived from CommonCrawl, a common practice in the pretraining of LLMs Brown et al. (2020); Raffel et al. (2020); Touvron et al. (2023). This data source is also prominently featured in openly available LLM pretraining corpora, including The Pile Gao et al. (2020) and RedPajama Computer (2023). There are different versions of CommonCrawl data and our selection of C4 for pretraining is driven by driven by its size and quality.
실험의 주요 pretraining 코퍼스는 1,700억 개 이상의 토큰으로 구성된 엄선된 영어 텍스트 데이터 세트인 C4(Colossal Clean Crawled Corpus)입니다. 이 코퍼스는 LLM의 pretraining에서 일반적으로 사용되는 CommonCrawl에서 파생된 것입니다 Brown et al. (2020); Raffel et al. (2020); Touvron et al. (2023). 이 데이터 소스는 The Pile Gao et al. (2020) 및 RedPajama Computer(2023)를 비롯한 공개적으로 사용 가능한 LLM pretraining 코퍼스에도 눈에 띄게 등장합니다. CommonCrawl 데이터에는 여러 가지 버전이 있으며, pretraining을 위해 C4를 선택한 이유는 그 크기와 품질 때문입니다.
실험의 주요 사전 학습 코퍼스는 1,700억 개 이상의 토큰으로 구성된 엄선된 영어 텍스트 데이터 세트인 C4(Colossal Clean Crawled Corpus)입니다. 이 코퍼스는 LLM의 사전 학습에서 일반적으로 사용되는 CommonCrawl에서 파생된 것입니다 Brown et al. (2020); Raffel et al. (2020); Touvron et al. (2023). 이 데이터 소스는 The Pile Gao et al. (2020) 및 RedPajama Computer(2023)를 비롯한 공개적으로 사용 가능한 LLM 사전 학습 코퍼스에도 눈에 띄게 등장합니다. CommonCrawl 데이터에는 여러 가지 버전이 있으며, 사전 학습을 위해 C4를 선택한 이유는 그 크기와 품질 때문입니다.