Matching.Since comparing MinHash signatures between every possible document pair is computationally expensive, we apply a locality sensitive hashing version of MinHash, MinHash LSH. A document signature is split into \(r\) buckets, each with \(b\) minhashes. Documents are indexed by these \(b\) minhashes on each of the \(r\) buckets, and we mark two documents as duplicates if their \(b\) minhashes are exactly the same on at least one of the buckets. These two parameters, \(b\) and \(r\), will determine the probability that similar documents will be detected.
매칭. 가능한 모든 문서 쌍 간에 MinHash 서명을 비교하는 것은 계산 비용이 많이 들기 때문에, 우리는 locality sensitive hashing 버전의 MinHash, MinHash LSH를 적용합니다. 문서 서명은 각각 \(b\)개의 minhash가 있는 \(r\)개의 버킷으로 분할됩니다. 문서는 \(r\) 버킷 각각에 대해 이러한 \(b\) minhash로 인덱싱되며, 버킷 중 하나 이상에서 \(b\) minhash가 정확히 동일한 경우 두 문서를 중복으로 표시합니다. 이 두 매개변수인 \(b\)와 \(r\)은 유사한 문서가 감지될 확률을 결정합니다.
매칭. 가능한 모든 문서 쌍 간에 MinHash 서명을 비교하는 것은 계산 비용이 많이 들기 때문에, 우리는 MinHash LSH의 지역 민감 해싱 버전인 MinHash 서명을 적용합니다. 문서 서명은 각각 \(b\)개의 미니헤시가 있는 \(r\)개의 버킷으로 분할됩니다. 문서는 \(r\) 버킷 각각에 대해 이러한 \(b\) 미니헤시로 인덱싱되며, 버킷 중 하나 이상에서 \(b\) 미니헤시가 정확히 동일한 경우 두 문서를 중복으로 표시합니다. 이 두 매개변수인 \(b\)와 \(r\)은 유사한 문서가 감지될 확률을 결정합니다.