**CommonCrawl.** CommonCrawl [163] is one of the largest open-source web crawling databases, containing a petabyte-scale data volume, which has been widely used as training data for existing LLMs. As the whole dataset is very large, existing studies mainly extract subsets of web pages from it within a specific period. However, due to the widespread existence of noisy and low-quality information in web data, it is necessary to perform data preprocessing before usage. Based on CommonCrawl, there are four filtered datasets that are commonly used in existing work: C4 [82], CC-Stories [155], CC-News [27], and RealNews [156]. The Colossal Clean Crawled Corpus (C4) includes five variants21, namely en (806G), en.noclean (6T), realnewslike (36G), web-textlike (17G), and multilingual (38T). The _en_ version has been utilized for pre-training T5 [82], LaMDA [68], Go-pher [64], and UL2 [89]. The multilingual C4, also called mC4, has been used in mT5 [83]. CC-Stories (31G) is composed of a subset of CommonCrawl data, in which the contents are made in a story-like way. Because the original source of CC-Stories is not available now, we include a reproduction version, _CC-Stories-R_[164], in Table II. Moreover, two news corpora extracted from CommonCrawl, _i.e._, REALNEWS (120G) and CC-News (76G), are also commonly used as the pre-training data.
**CommonCrawl.** CommonCrawl [163]은 페타바이트 규모의 데이터 볼륨을 포함하는 가장 큰 오픈 소스 웹 크롤링 데이터베이스 중 하나이며, 기존 LLMs의 학습 데이터로 널리 사용되었습니다. 전체 데이터 세트가 매우 크기 때문에 기존 연구에서는 주로 특정 기간 내 웹 페이지의 하위 집합을 추출합니다. 그러나 웹 데이터에는 노이즈가 많고 품질이 낮은 정보가 광범위하게 존재하기 때문에 사용하기 전에 데이터 전처리를 수행해야 합니다. CommonCrawl을 기반으로 기존 작업에서 일반적으로 사용되는 필터링된 데이터 세트에는 C4 [82], CC-Stories [155], CC-News [27] 및 RealNews [156]의 네 가지가 있습니다. Colossal Clean Crawled Corpus (C4)에는 5가지 변형21, 즉 en(806G), en.noclean(6T), realnewslike(36G), web-textlike(17G), 다국어(38T)가 포함되어 있습니다. _en_ 버전은 T5 [82], LaMDA [68], Go-pher [64], UL2 [89]의 사전 학습에 활용되었습니다. mC4라고도 하는 다국어 C4는 mT5 [83]에서 사용되었습니다. CC-Stories(31G)는 CommonCrawl 데이터의 하위 집합으로 구성되며, 그 내용은 스토리와 같은 방식으로 작성되었습니다. 현재 CC-Stories의 원본 소스를 사용할 수 없기 때문에 표 II에 복제 버전인 _CC-Stories-R_[164]을 포함했습니다. 또한 CommonCrawl에서 추출한 두 개의 뉴스 코퍼스, 즉 REALNEWS(120G)와 CC-News(76G)도 사전 학습 데이터로 일반적으로 사용됩니다.
**CommonCrawl.** CommonCrawl [163]은 페타바이트 규모의 데이터 볼륨을 포함하는 가장 큰 오픈 소스 웹 크롤링 데이터베이스 중 하나이며, 기존 LLM의 학습 데이터로 널리 사용되었습니다. 전체 데이터 세트가 매우 크기 때문에 기존 연구에서는 주로 특정 기간 내 웹 페이지의 하위 집합을 추출합니다. 그러나 웹 데이터에는 노이즈가 많고 품질이 낮은 정보가 광범위하게 존재하기 때문에 사용하기 전에 데이터 전처리를 수행해야 합니다. CommonCrawl을 기반으로 기존 작업에서 일반적으로 사용되는 필터링된 데이터 세트에는 C4 [82], CC-Stories [155], CC-News [27] 및 RealNews [156]의 네 가지가 있습니다. 거대한 클린 크롤링 코퍼스(C4)에는 5가지 변형21, 즉 en(806G), en.noclean(6T), realnewslike(36G), web-textlike(17G), 다국어(38T)가 포함되어 있습니다. en_ 버전은 T5 [82], LaMDA [68], Go-pher [64], UL2 [89]의 사전 학습에 활용되었습니다. mC4라고도 하는 다국어 C4는 mT5 [83]에서 사용되었습니다. CC-Stories(31G)는 CommonCrawl 데이터의 하위 집합으로 구성되며, 그 내용은 스토리와 같은 방식으로 작성되었습니다. 현재 CC-Stories의 원본 소스를 사용할 수 없기 때문에 표 II에 복제 버전인 _CC-Stories-R_[164]을 포함했습니다. 또한 CommonCrawl에서 추출한 두 개의 뉴스 코퍼스, 즉 REALNEWS(120G)와 CC-News(76G)도 사전 학습 데이터로 일반적으로 사용됩니다.