Repetition removal.Due to crawling errors and low-quality sources, many documents contain repeated sequences: this may cause pathological behavior in the final model (Holtzman et al., 2019). We could catch this content at the later deduplication stage, but it is cheaper and easier to catch it document-wise early on. We implement the heuristics of Rae et al. (2021), and remove any document with excessive line, paragraph, or n-gram repetitions.
반복 제거. 크롤링 오류 및 품질이 낮은 소스로 인해 많은 문서에 반복되는 구문이 포함되어 있어 최종 모델에서 병리적인 동작을 일으킬 수 있습니다(Holtzman et al., 2019). 이러한 콘텐츠는 이후 deduplication 단계에서 잡을 수 있지만, 문서 단위로 조기에 잡는 것이 더 저렴하고 쉽습니다. Rae 등(2021)의 heuristics을 구현하여 과도한 줄, 단락 또는 n-그램 반복이 있는 문서는 모두 제거합니다.
반복 제거.크롤링 오류 및 품질이 낮은 소스로 인해 많은 문서에 반복되는 구문이 포함되어 있어 최종 모델에서 병리적인 동작을 일으킬 수 있습니다(Holtzman et al., 2019). 이러한 콘텐츠는 이후 중복 제거 단계에서 잡을 수 있지만, 문서 단위로 조기에 잡는 것이 더 저렴하고 쉽습니다. Rae 등(2021)의 휴리스틱을 구현하여 과도한 줄, 단락 또는 n-그램 반복이 있는 문서는 모두 제거합니다.