On average with ExactSubstr, we remove more total content than with NearDup (despite ExactSubstr not removing any examples outright)--for example removing \(7.18\%\) of the tokens in C4. The exception is LM1B, where ExactSubstr removes \(8\times\) less data than NearDup. On investigation, we find this is due to the fact that LM1B documents are significantly shorter: \(90\%\) of all documents are under 50 tokens, and so are not even candidates for potential matches even if the entire sequence matched verbatim. We find that both NearDup and ExactSubstr remove similar content--\(77\%\) of the training examples that NearDup removes from C4 have at least one verbatim length-\(50\) match found by ExactSubstr.
평균적으로 ExactSubstr를 사용하면 NearDup보다 더 많은 전체 콘텐츠를 제거합니다 (ExactSubstr가 어떤 예제를 완전히 제거하지 않음에도 불구하고) -- 예를 들어 C4에서 토큰의 \(7.18\%\)를 제거합니다. 예외는 LM1B로, 여기서 ExactSubstr는 NearDup보다 \(8\times\) 적은 데이터를 제거합니다. 조사 결과, 이는 LM1B 문서가 상당히 짧기 때문임을 알게 되었습니다: 전체 문서의 \(90\%\)가 50 토큰 이하이며, 따라서 전체 시퀀스가 그대로 일치하더라도 잠재적 일치 후보가 되지 않습니다. NearDup과 ExactSubstr 모두 유사한 콘텐츠를 제거한다는 것을 발견했습니다 -- NearDup가 C4에서 제거한 훈련 예제의 \(77\%\)는 ExactSubstr에 의해 발견된 최소 하나의 길이-\(50\) 일치 항목을 포함하고 있습니다.
평균적으로 ExactSubstr은 NearDup보다 더 많은 총 콘텐츠를 제거합니다(예: C4에서 토큰의 \(7.18\%\) 제거). 예외적으로 ExactSubstr은 NearDup보다 \(8배\) 적은 데이터를 제거하는 LM1B가 있습니다. 조사 결과, 이는 LM1B 문서의 길이가 현저히 짧기 때문인 것으로 밝혀졌습니다. 전체 문서의 \(90\%\)가 50 토큰 미만이므로 전체 시퀀스가 단어 그대로 일치하더라도 잠재적 일치 후보가 되지 않습니다. NearDup과 ExactSubstr은 비슷한 콘텐츠를 제거하는 것으로 나타났습니다. NearDup이 C4에서 제거한 훈련 예제의 \(77\%\)는 ExactSubstr에서 발견한 적어도 하나의 버바틱 길이-\(50\) 일치하는 부분이 있습니다.