After filtering, although data quality has improved, a large fraction of the content is repeated across documents. This may be due to the crawler indirectly hitting the same page multiple times, to boilerplate content being repeated (e.g., licences), or even to plagiarism. These duplicates can strongly impact models, favoring memorization instead of generalization (Lee et al., 2022; Hernandez et al., 2022). Since deduplication is expensive, it has seen limited adoption in public datasets (Ortiz Suarez et al., 2019; Raffel et al., 2020). We adopt an aggressive deduplication strategy, combining both fuzzy document matches and exact sequences removal.
필터링 후 데이터 품질이 개선되었지만 문서 간에 반복되는 콘텐츠의 비율이 여전히 높습니다. 이는 크롤러가 동일한 페이지에 여러 번 간접적으로 접속하거나, 상용구 콘텐츠가 반복되거나(예: 라이선스), 심지어 표절로 인해 발생할 수 있습니다. 이러한 중복은 모델에 강력한 영향을 미쳐 일반화 대신 암기가 우선시될 수 있습니다(Lee et al., 2022; Hernandez et al., 2022). 중복 제거는 비용이 많이 들기 때문에 공개 데이터 세트에서는 제한적으로 채택되었습니다(Ortiz Suarez et al., 2019; Raffel et al., 2020). 저희는 퍼지 문서 일치와 정확한 시퀀스 제거를 모두 결합한 공격적인 deduplication 전략을 채택했습니다.
필터링 후 데이터 품질이 개선되었지만 문서 간에 반복되는 콘텐츠의 비율이 여전히 높습니다. 이는 크롤러가 동일한 페이지에 여러 번 간접적으로 접속하거나, 상용구 콘텐츠가 반복되거나(예: 라이선스), 심지어 표절로 인해 발생할 수 있습니다. 이러한 중복은 모델에 강력한 영향을 미쳐 일반화 대신 암기가 우선시될 수 있습니다(Lee et al., 2022; Hernandez et al., 2022). 중복 제거는 비용이 많이 들기 때문에 공개 데이터 세트에서는 제한적으로 채택되었습니다(Ortiz Suarez et al., 2019; Raffel et al., 2020). 저희는 퍼지 문서 일치와 정확한 시퀀스 제거를 모두 결합한 공격적인 중복 제거 전략을 채택했습니다.