We also perform _approximate_ deduplication based on matching entire examples. This method, which we call NearDup, is a good complement to the _exact_ substring matching, especially for web crawl text, as it handles the very common case of documents being identical except for interspersed templated fields (such as the last row of Table 1).
또한 전체 예제 일치를 기반으로 _approximate_ 중복 제거를 수행합니다. NearDup이라고 하는 이 방법은 특히 웹 크롤링 텍스트의 경우 _exact_ 하위 문자열 매칭을 보완하는 좋은 방법이며, 삽입된 템플릿 필드(예: 표 1의 마지막 행)를 제외하고는 문서가 동일한 매우 일반적인 경우를 처리합니다.
또한 전체 예제 일치를 기반으로 _대략적인_ 중복 제거를 수행합니다. NearDup이라고 하는 이 방법은 특히 웹 크롤링 텍스트의 경우 정확한 하위 문자열 매칭을 보완하는 좋은 방법이며, 삽입된 템플릿 필드(예: 표 1의 마지막 행)를 제외하고는 문서가 동일한 매우 일반적인 경우를 처리합니다.