By processing C4 through MDR, we are able to obtain subsets of data which might slightly outperform RefinedWeb; this combines both the stringent filtering of C4 (e.g., strict NSFW word blocklist, 3-sentence span deduplication) with our own filters and deduplication. While such a combination results in rejection rates that would be unacceptable for our target of 3-6 trillions tokens, this represents an interesting perspective for shorter runs, which may be able to extract extremely high-quality subsets from large web datasets.
C4를 MDR을 통해 처리함으로써, RefinedWeb을 약간 능가할 수 있는 데이터 하위 집합을 얻을 수 있습니다. 이는 C4의 엄격한 필터링(예: 엄격한 NSFW 단어 차단 목록, 3문장 범위 중복 제거)과 우리의 자체 필터 및 중복 제거를 결합한 것입니다. 이러한 조합은 3-6조 토큰을 목표로 하는 경우에는 수용할 수 없는 거부율을 초래하지만, 대규모 웹 데이터셋에서 매우 고품질의 하위 집합을 추출할 수 있는 짧은 실행에 대해서는 흥미로운 관점을 제공합니다.
MDR을 통해 C4를 처리하면 RefinedWeb보다 약간 더 성능이 뛰어난 데이터 하위 집합을 얻을 수 있으며, 이는 엄격한 필터링(예: 엄격한 NSFW 단어 차단 목록, 3문장 범위 중복 제거)과 자체 필터 및 중복 제거를 모두 결합한 것입니다. 이러한 조합은 목표인 3조~6조 토큰에 허용할 수 없는 거부율을 초래하지만, 대규모 웹 데이터 세트에서 매우 고품질의 하위 집합을 추출할 수 있는 짧은 실행에 대한 흥미로운 관점을 제공합니다.