We start with the most scalable approach, NearDedup. We remove similar documents by applying MinHash (Broder, 1997), whereby a signature/sketch supporting efficient approximate similarity queries is computed for each document in the dataset, and document pairs with a high \(n\)-gram overlap are identified.
우리는 가장 확장 가능한 접근 방식인 NearDedup으로 시작합니다. MinHash (Broder, 1997)를 적용하여 유사한 문서를 제거하는데, 이를 통해 데이터셋의 각 문서에 대해 효율적인 근사 유사성 쿼리를 지원하는 서명/스케치를 계산하고, 높은 \(n\)-그램 중복을 가진 문서 쌍을 식별합니다.
가장 확장성이 뛰어난 접근 방식인 NearDedup으로 시작합니다. 데이터 집합의 각 문서에 대해 효율적인 근사 유사성 쿼리를 지원하는 서명/스케치가 계산되고, \(n\)-그램 오버랩이 높은 문서 쌍이 식별되는 MinHash(Broder, 1997)를 적용하여 유사한 문서를 제거합니다.