We apply the same normalization and tokenization as for MinHash to the content of our documents before concatenating them. One important difference is that reversibility is important: for MinHash, we were discarding entire documents, and thus never relying on the normalized+tokenized representation for downstream use. Here, once we have identified duplicate normalized+tokenized spans, we need to revert to the original span to remove it. Accordingly, we include normalization in the tokenization process, and validate that the process is reversible.
문서를 연결하기 전에 문서 내용에 MinHash와 동일한 normalization 및 tokenization을 적용합니다. 한 가지 중요한 차이점은 가역성이 중요하다는 점입니다. MinHash의 경우 전체 문서를 삭제했기 때문에 다운스트림에서 normalized+tokenized 표현을 사용하지 않았습니다. 여기서는 중복된 normalized+tokenized 범위를 식별한 후 원래 범위로 되돌아가서 제거해야 합니다. 따라서 tokenization 프로세스에 normalization을 포함하고 프로세스가 가역적이라는 것을 검증합니다.
문서를 연결하기 전에 문서 내용에 MinHash와 동일한 정규화 및 토큰화를 적용합니다. 한 가지 중요한 차이점은 가역성이 중요하다는 점입니다. MinHash의 경우 전체 문서를 삭제했기 때문에 다운스트림에서 정규화 및 토큰화된 표현을 사용하지 않았습니다. 여기서는 중복된 정규화 및 토큰화된 범위를 식별한 후 원래 범위로 되돌아가서 제거해야 합니다. 따라서 토큰화 프로세스에 정규화를 포함하고 프로세스가 가역적이라는 것을 검증합니다.