Signing.We start by normalizing the content to increase recall: punctuation is removed, text is lowercased, NFD Unicode normalization is applied, accents are removed, and all whitespace is normalized. We tokenize the resulting text using the GPT-2 tokenizer (Radford et al., 2019) and obtain the set of unique \(n\)-grams for each document. Hash functions are used to obtain a signature for each document: for each hash function, the smallest value is kept from hashing every unique \(n\)-gram in the document. If two documents are similar, then there is a high probability that they will have the same minimum hash (MinHash) for at least some of the hash functions used (Broder, 1997).
서명. 리콜을 높이기 위해 콘텐츠를 정규화하는 것으로 시작합니다. 문장 부호가 제거되고, 텍스트가 소문자로 변환되며, NFD 유니코드 정규화가 적용되고, 악센트가 제거되며, 모든 공백이 정규화됩니다. 결과 텍스트는 GPT-2 tokenizer (Radford et al., 2019)를 사용하여 토큰화하고 각 문서에 대한 고유한 \(n\)-그램 집합을 얻습니다. Hash functions는 각 문서에 대한 서명을 얻는 데 사용됩니다. 각 hash function에 대해 문서의 모든 고유한 \(n\)-그램을 해시할 때 가장 작은 값을 유지합니다. 두 문서가 유사하다면 사용된 hash function 중 적어도 일부에 대해 동일한 최소 해시(MinHash)를 갖게 될 확률이 높습니다(Broder, 1997).
서명. 리콜을 높이기 위해 콘텐츠를 정규화하는 것으로 시작합니다. 문장 부호가 제거되고, 텍스트가 소문자로 변환되며, NFD 유니코드 정규화가 적용되고, 악센트가 제거되며, 모든 공백이 정규화됩니다. 결과 텍스트는 GPT-2 토큰화 도구(Radford et al., 2019)를 사용하여 토큰화하고 각 문서에 대한 고유한 \(n\)-그램 집합을 얻습니다. 해시 함수는 각 문서에 대한 서명을 얻는 데 사용됩니다. 각 해시 함수에 대해 문서의 모든 고유한 \(n\)-그램을 해시할 때 가장 작은 값을 유지합니다. 두 문서가 유사하다면 사용된 해시 함수 중 적어도 일부에 대해 동일한 최소 해시(MinHash)를 갖게 될 확률이 높습니다(Broder, 1997).