Due to the diversity of possibilities in human language, it is rare for the same idea to be expressed identically in multiple documents unless one expression is derived from the other, or both are quoting from a shared source. This observation motivates deduplicating exact substrings. We call our approach ExactSubstr. When two examples \(x_{i}\) and \(x_{j}\) share a sufficiently long substring (that is, a substring for which \(x_{i}^{a.a.+k}=x_{j}^{b.b+k}\)), that substring is removed from one of them. Based on statistical analyses (SSB), we select \(k=50\) tokens as the minimum matching substring length.
인간 언어의 다양성 때문에 동일한 아이디어가 여러 문서에서 동일하게 표현되는 경우는 드뭅니다. 이는 한 표현이 다른 표현에서 파생되었거나, 두 표현 모두 공통된 출처를 인용하는 경우를 제외하고는 거의 발생하지 않습니다. 이러한 관찰은 정확한 부분 문자열을 중복 제거하는 동기를 제공합니다. 우리는 이 접근 방식을 ExactSubstr라고 부릅니다. 두 예제 \(x_{i}\)와 \(x_{j}\)가 충분히 긴 부분 문자열을 공유할 때 (즉, \(x_{i}^{a.a.+k}=x_{j}^{b.b+k}\)인 부분 문자열), 그 부분 문자열은 둘 중 하나에서 제거됩니다. 통계 분석(SSB)을 기반으로, 최소 일치 부분 문자열 길이로 \(k=50\) 토큰을 선택했습니다.
인간 언어의 가능성은 매우 다양하기 때문에 한 표현이 다른 표현에서 파생되었거나 두 표현이 공유 소스에서 인용하는 경우가 아니라면 동일한 아이디어가 여러 문서에서 동일하게 표현되는 경우는 드뭅니다. 이러한 관찰은 정확한 하위 문자열을 중복 제거하는 동기를 부여합니다. 우리는 이 접근 방식을 ExactSubstr이라고 부릅니다. 두 예제 \(x_{i}\)와 \(x_{j}\)가 충분히 긴 하위 문자열(즉, \(x_{i}^{a.a.+k}=x_{j}^{b.b+k}\))을 공유하는 경우, 그 중 하나에서 해당 하위 문자열이 제거됩니다. 통계 분석(SSB)을 기반으로 최소 일치 하위 문자열 길이로 \(k=50\) 토큰을 선택합니다.