URL deduplication.Because of computational constraints, it is impossible for us to perform deduplication directly on RW-Filtered. Instead, we split CommonCrawl into 100 parts, where each part contains a hundredth of each dump, and perform deduplication on individual parts. Most of the larger duplicate clusters (e.g., licences, common spams) will be shared across parts, and effectively removed. However, we found that CommonCrawl dumps had significant overlap, with URLs being revisited across dumps despite no change in content. Accordingly, we keep a list of the URLs of all samples we have kept from each part, and remove them from subsequent parts being processed.
URL 중복 제거. 계산 제약으로 인해 RW-Filtered에서 직접 중복 제거를 수행하는 것은 불가능합니다. 대신, CommonCrawl을 100개의 부분으로 나누어 각 부분이 각 덤프의 백분의 일을 포함하도록 하고, 개별 부분에서 중복 제거를 수행합니다. 대부분의 큰 중복 클러스터(예: 라이선스, 일반 스팸)는 부분 간에 공유되어 효과적으로 제거됩니다. 그러나 CommonCrawl 덤프는 내용 변경 없이 덤프 간에 URL이 다시 방문되는 경우가 많아 상당한 중복이 있음을 발견했습니다. 따라서 각 부분에서 유지한 모든 샘플의 URL 목록을 유지하고, 처리 중인 후속 부분에서 이를 제거합니다.
URL 중복 제거.계산 제약으로 인해 RW-Filtered에서 직접 중복 제거를 수행하는 것은 불가능합니다. 대신 CommonCrawl을 100개의 파트로 분할하여 각 파트에 각 덤프의 100분의 1이 포함되도록 하고 개별 파트에 대해 중복 제거를 수행합니다. 대부분의 큰 중복 클러스터(예: 라이선스, 일반 스팸)는 파트 간에 공유되며 효과적으로 제거됩니다. 그러나 CommonCrawl 덤프에는 콘텐츠의 변화가 없음에도 불구하고 URL이 덤프 간에 다시 방문되는 등 상당한 중복이 있는 것으로 나타났습니다. 따라서 각 파트에서 유지된 모든 샘플의 URL 목록을 유지하고 처리 중인 후속 파트에서 해당 URL을 제거합니다.