Colossal Cleaned Common Crawl (C4)is made up of 360M web documents, with an average length of 486 BPE tokens Raffel et al. (2020). C4 was introduced as a pre-training dataset for T5, a set of encoder-decoder models which have been widely used in fine-tuned downstream tasks. The dataset was previously deduplicated in a more sophisticated process than the prior two datasets. Each paragraph was hashed and paragraphs resulting in hash collisions were removed. This was followed by a pass that removed placeholder text, code, and prohibited words. See Dodge et al. (2021) for a detailed breakdown of the source text in C4.
콜로설 클린드 커먼 크롤(C4)은 평균 길이가 486 BPE 토큰인 3억 6천만 개의 웹 문서로 구성되어 있습니다 Raffel et al. (2020). C4는 encoder-decoder 모델의 집합인 T5의 사전 학습 데이터 세트로 소개되었으며, 이 모델은 다양한 다운스트림 작업에서 fine-tuned 데 널리 사용되었습니다. 이 데이터 세트는 이전 두 데이터 세트보다 더 정교한 프로세스를 통해 이전에 중복 제거되었습니다. 각 단락을 해시화하고 해시 충돌이 발생하는 단락을 제거했습니다. 그 후 placeholder 텍스트, 코드 및 금지 단어를 제거하는 과정을 거쳤습니다. C4의 소스 텍스트에 대한 자세한 분석은 Dodge et al. (2021)을 참조하세요.
콜로설 클린드 커먼 크롤(C4)은 평균 길이가 486BPE 토큰인 3억 6천만 개의 웹 문서로 구성되어 있습니다 Raffel et al. (2020). C4는 인코더-디코더 모델의 집합인 T5의 사전 학습 데이터 세트로 소개되었으며, 이 모델은 다양한 다운스트림 작업에서 미세 조정된 데 널리 사용되었습니다. 이 데이터 세트는 이전 두 데이터 세트보다 더 정교한 프로세스를 통해 이전에 중복 제거되었습니다. 각 단락을 해시화하고 해시 충돌이 발생하는 단락을 제거했습니다. 그 후 플레이스홀더 텍스트, 코드 및 금지 단어를 제거하는 과정을 거쳤습니다. C4의 소스 텍스트에 대한 자세한 분석은 Dodge et al. (2021)을 참조하세요.