Focusing on building a large-scale high-quality web pretraining dataset, we extend upon the state-of-the-art in three ways: (1) we aggregate and combine best-practices for document preparation and filtering across multiple pipelines, and introduce line-wise corrections; (2) we combine both exact and fuzzy deduplication at very large-scale; (3) the scale of our final dataset is unique, with a total 5,000 billion tokens, and a 600 billion tokens extract available for public use with permissive licensing. Training large models on RefinedWeb also lead us to challenge the commonly held belief that web data is strictly worse than curated corpora.
대규모 고품질 웹 pretraining 데이터 세트 구축에 집중하여, 우리는 세 가지 측면에서 최첨단 기술을 확장합니다: (1) 여러 파이프라인에 걸쳐 문서 준비 및 필터링을 위한 모범 사례를 수집하고 결합하며, 라인별 수정을 도입합니다; (2) 대규모에서 정확한 중복 제거와 퍼지 중복 제거를 모두 결합합니다; (3) 최종 데이터 세트의 규모는 총 5,000억 개의 tokens으로 독특하며, 허용되는 라이선스를 통해 공개적으로 사용할 수 있는 6,000억 개의 tokens 추출이 가능합니다. RefinedWeb에서 대규모 모델을 훈련하면 웹 데이터가 엄선된 corpora보다 엄연히 나쁘다는 일반적인 믿음에 도전하게 됩니다.
대규모 고품질 웹 사전 학습 데이터 세트 구축에 집중하여, 우리는 세 가지 측면에서 최첨단 기술을 확장합니다: (1) 여러 파이프라인에 걸쳐 문서 준비 및 필터링을 위한 모범 사례를 수집하고 결합하며, 라인별 수정을 도입합니다; (2) 대규모에서 정확한 중복 제거와 퍼지 중복 제거를 모두 결합합니다; (3) 최종 데이터 세트의 규모는 총 5,000억 개의 토큰으로 독특하며, 허용되는 라이선스를 통해 공개적으로 사용할 수 있는 6,000억 개의 토큰 추출이 가능합니다. RefinedWeb에서 대규모 모델을 훈련하면 웹 데이터가 엄선된 말뭉치보다 엄연히 나쁘다는 일반적인 믿음에 도전하게 됩니다.