* **Scale first.** We intend MDR to produce datasets to be used to train 40-200B parameters models, thus requiring trillions of tokens (Hoffmann et al., 2022). For English-only RefinedWeb, we target a size of 3-6 trillion tokens. Specifically, we eschew any labour intensive human curation process, and focus on CommonCrawl instead of disparate single-domain sources. * **Strict deduplication.** Inspired by the work of Lee et al. (2022), which demonstrated the value of deduplication for large language models, we implement a rigorous deduplication pipeline. We combine both exact and fuzzy deduplication, and use strict settings leading to removal rates far higher than others have reported. * **Neutral filtering.** To avoid introducing further undesirable biases into the model (Dodge et al., 2021; Welbl et al., 2021), we avoid using ML-based filtering outside of language identification. We stick to simple rules and heuristics, and use only URL filtering for adult content.
* **먼저 확장합니다.** MDR은 40-200B 파라미터 모델을 훈련하는 데 사용할 데이터 세트를 생성하기 위한 것이므로 수조 개의 tokens이 필요합니다(Hoffmann et al., 2022). 영어만 사용하는 RefinedWeb의 경우 3-6조 tokens 규모를 목표로 합니다. 특히, 노동 집약적인 인간 큐레이션 프로세스를 피하고, 단일 도메인 소스가 아닌 CommonCrawl에 집중합니다. * **엄격한 중복 제거**. 대규모 language models에 대한 중복 제거의 가치를 입증한 Lee et al. (2022)의 연구에서 영감을 받아 엄격한 중복 제거 파이프라인을 구현합니다. 정확한 중복 제거와 퍼지 중복 제거를 모두 결합하고, 다른 사람들이 보고한 것보다 훨씬 높은 제거율을 초래하는 엄격한 설정을 사용합니다. * **중립적인 필터링**. 모델에 바람직하지 않은 편견을 더 이상 도입하지 않기 위해(Dodge et al., 2021; Welbl et al., 2021), 언어 식별 이외의 ML 기반 필터링을 사용하지 않습니다. 간단한 규칙과 휴리스틱을 고수하고 성인용 콘텐츠에 대해서는 URL 필터링만 사용합니다.
* **먼저 확장합니다.** MDR은 40-200B 파라미터 모델을 훈련하는 데 사용할 데이터 세트를 생성하기 위한 것이므로 수조 개의 토큰이 필요합니다(Hoffmann et al., 2022). 영어만 사용하는 RefinedWeb의 경우 3-6조 토큰 규모를 목표로 합니다. 특히, 노동 집약적인 인간 큐레이션 프로세스를 피하고, 단일 도메인 소스가 아닌 CommonCrawl에 집중합니다. * **엄격한 중복 제거**. 대규모 언어 모델에 대한 중복 제거의 가치를 입증한 Lee et al. (2022)의 연구에서 영감을 받아 엄격한 중복 제거 파이프라인을 구현합니다. 정확한 중복 제거와 퍼지 중복 제거를 모두 결합하고, 다른 사람들이 보고한 것보다 훨씬 높은 제거율을 초래하는 엄격한 설정을 사용합니다. * **중립적인 필터링**. 모델에 바람직하지 않은 편견을 더 이상 도입하지 않기 위해(Dodge et al., 2021; Welbl et al., 2021), 언어 식별 이외의 ML 기반 필터링을 사용하지 않습니다. 간단한 규칙과 휴리스틱을 고수하고 성인용 콘텐츠에 대해서는 URL 필터링만 사용합니다.