Fuzzy deduplication.We remove similar documents by applying MinHash (Broder, 1997): for each document, we compute a sketch and measure its approximate similarity with other documents, eventually removing pairs with high overlap.
유사한 문서 제거. 우리는 MinHash (Broder, 1997)를 적용하여 유사한 문서를 제거합니다: 각 문서에 대해 스케치를 계산하고 다른 문서와의 대략적인 유사성을 측정하여, 결국 높은 중복을 가진 쌍을 제거합니다.
퍼지 중복 제거.MinHash(Broder, 1997)를 적용하여 유사한 문서를 제거합니다: 각 문서에 대해 스케치를 계산하고 다른 문서와의 대략적인 유사성을 측정하여 결국 겹치는 부분이 많은 쌍을 제거합니다.