We make use of the ExactSubstr implementation publicly released by Lee et al. (2022) for exact text matching. We apply exact substring deduplication to data that has already been deduplicated by MinHash, reducing by nearly 40% size of the dataset on which we have to operate. ExactSubstr will find long strings of text that are present, character for character, across multiple documents. Some of these may have escaped the earlier stage of approximate deduplication: they might not constitute a big enough portion of the document; one document might have repeated sections sourced across many different documents; or they may simply not have been found due to the approximate nature of MinHash.
정확한 텍스트 매칭을 위해 Lee 등(2022)이 공개적으로 공개한 ExactSubstr 구현을 사용합니다. 정확한 하위 문자열 중복 제거를 미리 MinHash로 중복 제거한 데이터에 적용하여 작업해야 하는 데이터 세트의 크기를 거의 40%까지 줄일 수 있습니다. ExactSubstr은 여러 문서에서 문자 하나하나 그대로 존재하는 긴 텍스트 문자열을 찾습니다. 이 중 일부는 이전 단계의 approximate deduplication을 피할 수 있습니다. 문서에서 차지하는 비중이 크지 않을 수도 있고, 한 문서에 여러 문서에서 가져온 섹션이 반복될 수도 있으며, 단순히 MinHash의 approximate 특성으로 인해 발견되지 않았을 수도 있습니다.
정확한 텍스트 매칭을 위해 Lee 등(2022)이 공개적으로 공개한 ExactSubstr 구현을 사용합니다. 정확한 하위 문자열 중복 제거를 미리 MinHash로 중복 제거한 데이터에 적용하여 작업해야 하는 데이터 세트의 크기를 거의 40%까지 줄일 수 있습니다. ExactSubstr은 여러 문서에서 문자 하나하나 그대로 존재하는 긴 텍스트 문자열을 찾습니다. 이 중 일부는 이전 단계의 대략적인 중복 제거를 피할 수 있습니다. 문서에서 차지하는 비중이 크지 않을 수도 있고, 한 문서에 여러 문서에서 가져온 섹션이 반복될 수도 있으며, 단순히 MinHash의 대략적인 특성으로 인해 발견되지 않았을 수도 있습니다.