We employ MinHash to find approximate duplicate documents in our web corpora at a very large scale. This technique allows us to identify templated pages or otherwise very similar content where most of the interspersed duplicated sections are small enough to not be identified by exact matching methods (anything smaller than 50 tokens).
MinHash를 사용하여 대규모 웹 코퍼스에서 대략적인 중복 문서를 찾습니다. 이 기술을 사용하면 대부분의 중복된 삽입 섹션이 정확한 일치 방법으로 식별되지 않을 정도로 작은 템플릿 페이지 또는 그렇지 않으면 매우 유사한 콘텐츠를 식별할 수 있습니다(50 tokens보다 작은 것은).
MinHash를 사용하여 대규모 웹 코퍼스에서 대략적인 중복 문서를 찾습니다. 이 기술을 사용하면 대부분의 중복된 삽입 섹션이 정확한 일치 방법으로 식별되지 않을 정도로 작은 템플릿 페이지 또는 그렇지 않으면 매우 유사한 콘텐츠를 식별할 수 있습니다(토큰보다 작은 것은 50개).