**Deduplication** After implementing a filtration process, we've developed a comprehensive deduplication pipeline. This pipeline includes document-level exact deduplication, document-level Minhash deduplication, and intra-document-level similar line deduplication, effectively identifying and removing duplicate content within documents. For exact deduplication, to reduce memory pressure we utilize a Bloom filter to approximate with a false positive rate set at 0.001. In the case of Minhash LSH, the signature is constructed from 128 hash functions and organized into 9 bands and 13 rows for LSH, achieving a Jaccard similarity of 0.8. The intra-document-level similar line deduplication targets removing repetitive lines within a single document. This approach was motivated by our observation that a significant portion of web-crawled data contained repetitions of 2 to 3 times within the same page, and due to the process of extracting text from HTML, some words might be lost, leading to slight variations in duplicates. For this deduplication, we employ edit distance to determine line similarity. The specific criterion is that two lines are considered similar if their edit distance is less than one-tenth of the length of the shorter line.
**Deduplication** 여과 프로세스를 구현한 후 종합적인 deduplication 파이프라인을 개발했습니다. 이 파이프라인에는 문서 수준의 정확한 deduplication, 문서 수준의 Minhash deduplication, 문서 내 수준의 유사한 줄 deduplication이 포함되어 문서 내 중복 콘텐츠를 효과적으로 식별하고 제거합니다. 정확한 deduplication의 경우 메모리 압력을 줄이기 위해 Bloom filter를 사용하여 오탐지율을 0.001로 설정하여 근사치를 구합니다. Minhash LSH의 경우, 128개의 해시 함수로 서명을 구성하고 LSH를 위해 9개의 밴드와 13개의 행으로 구성하여 Jaccard 유사도 0.8을 달성합니다. 문서 내 유사성 줄 deduplication은 단일 문서 내에서 반복되는 줄을 제거하는 것을 목표로 합니다. 이 접근 방식은 웹 크롤링된 데이터의 상당 부분이 동일한 페이지 내에서 2~3회 반복되는 경우가 많았고, HTML에서 텍스트를 추출하는 과정에서 일부 단어가 손실되어 중복이 약간 달라질 수 있다는 관찰에서 비롯된 것입니다. 이 deduplication을 위해 edit distance를 사용하여 줄 유사성을 판단합니다. 구체적인 기준은 edit distance가 짧은 줄의 길이의 10분의 1 미만인 경우 두 줄이 유사한 것으로 간주하는 것입니다.
**중복 제거** 여과 프로세스를 구현한 후 종합적인 중복 제거 파이프라인을 개발했습니다. 이 파이프라인에는 문서 수준의 정확한 중복 제거, 문서 수준의 Minhash 중복 제거, 문서 내 수준의 유사한 줄 중복 제거가 포함되어 문서 내 중복 콘텐츠를 효과적으로 식별하고 제거합니다. 정확한 중복 제거의 경우 메모리 압력을 줄이기 위해 블룸 필터를 사용하여 오탐지율을 0.001로 설정하여 근사치를 구합니다. Minhash LSH의 경우, 128개의 해시 함수로 서명을 구성하고 LSH를 위해 9개의 밴드와 13개의 행으로 구성하여 Jaccard 유사도 0.8을 달성합니다. 문서 내 유사성 줄 중복 제거는 단일 문서 내에서 반복되는 줄을 제거하는 것을 목표로 합니다. 이 접근 방식은 웹 크롤링된 데이터의 상당 부분이 동일한 페이지 내에서 2~3회 반복되는 경우가 많았고, HTML에서 텍스트를 추출하는 과정에서 일부 단어가 손실되어 중복이 약간 달라질 수 있다는 관찰에서 비롯된 것입니다. 이 중복 제거를 위해 편집 거리를 사용하여 줄 유사성을 판단합니다. 구체적인 기준은 편집 거리가 짧은 줄의 길이의 10분의 1 미만인 경우 두 줄이 유사한 것으로 간주하는 것입니다.