For our MinHash based deduplication method, documents are first space tokenized, then each consecutive 5-gram is hashed using tabulation hashing. The set of these hashes is the signature for the document. For each element in a document's signature, the element is hashed using \(k\) other hash functions. The minimum hashed element for each of the \(k\) hash functions is stored. These minimum hashes are then partitioned into \(r\) buckets, with \(b\) hashes per bucket. These \(b\) hashes are augmented into a single value, then if two documents have the same value in at least one bucket, they'll be marked as a potential match.
MinHash 기반 중복 제거 방법의 경우, 문서는 먼저 공백 tokenized된 다음 연속된 5-gram마다 tabulation hashing을 사용하여 해싱됩니다. 이러한 해시 집합이 문서의 signature입니다. 문서 signature의 각 요소에 대해 \(k\) 개의 다른 해시 함수를 사용하여 요소를 해시합니다. 각 \(k\) 해시 함수에 대한 최소 해시가 저장됩니다. 그런 다음 이러한 최소 해시는 \(r\) 버킷으로 분할되며, 버킷당 \(b\) 해시가 있습니다. 이 \(b\) 해시는 단일 값으로 증강된 다음, 두 문서가 적어도 하나의 버킷에서 동일한 값을 갖는 경우 잠재적 일치로 표시됩니다.
MinHash 기반 중복 제거 방법의 경우, 문서는 먼저 공백 토큰화된 다음 연속된 5그램마다 표 형식의 해싱을 사용하여 해싱됩니다. 이러한 해시 집합이 문서의 서명입니다. 문서 서명의 각 요소에 대해 \(k\) 개의 다른 해시 함수를 사용하여 요소를 해시합니다. 각 \(k\) 해시 함수에 대한 최소 해시가 저장됩니다. 그런 다음 이러한 최소 해시는 \(r\) 버킷으로 분할되며, 버킷당 \(b\) 해시가 있습니다. 이 \(b\) 해시는 단일 값으로 증강된 다음, 두 문서가 적어도 하나의 버킷에서 동일한 값을 갖는 경우 잠재적 일치로 표시됩니다.