We introduce **MDR** (MacroData Refinement), a pipeline for filtering and deduplicating web data from CommonCrawl at very large scale. Using MDR, we produce RefinedWerb, an English pretraining dataset of five trillion tokens based on web data only. We leverage strict filtering and stringent deduplication to uplift the quality of web data, distilling it down to a corpus matching the quality of aggregated corpora used to train state-of-the-art models.
커먼크롤에서 웹 데이터를 대규모로 필터링하고 중복 제거하는 파이프라인인 **MDR**(MacroData Refinement)을 소개합니다. MDR을 사용하여 웹 데이터만을 기반으로 5조 토큰의 영어 pretraining 데이터 세트인 RefinedWerb를 생성합니다. 엄격한 필터링과 엄격한 중복 제거를 통해 웹 데이터의 품질을 높이고 state-of-the-art 모델을 훈련하는 데 사용되는 집계된 corpora의 품질에 맞는 corpus로 정제합니다.
커먼크롤에서 웹 데이터를 대규모로 필터링하고 중복 제거하는 파이프라인인 **MDR**(매크로데이터 정제)을 소개합니다. MDR을 사용하여 웹 데이터만을 기반으로 5조 토큰의 영어 사전 학습 데이터 세트인 RefinedWerb를 생성합니다. 엄격한 필터링과 엄격한 중복 제거를 통해 웹 데이터의 품질을 높이고 최신 모델을 훈련하는 데 사용되는 집계된 코퍼스의 품질에 맞는 코퍼스로 정제합니다.