We propose two scalable techniques to detect and remove duplicated training data. _Exact_ substring matching identifies verbatim strings that are repeated. This allows us to identify cases where only part of a training example is duplicated (SS4.1). _Approximate_ full document matching uses hash-based techniques (Broder, 1997) to identify pairs of documents with high \(n\)-gram overlap (SS4.2).
중복된 학습 데이터를 감지하고 제거하기 위한 확장 가능한 두 가지 기술을 제안합니다. _Exact_ 부분 문자열 매칭은 반복되는 축어 문자열을 식별합니다. 이를 통해 학습 예제의 일부만 중복된 경우를 식별할 수 있습니다(SS4.1). _Approximate_ 전체 문서 매칭은 해시 기반 기술(Broder, 1997)을 사용하여 \(n\)-그램이 높은 문서 쌍을 식별합니다(SS4.2).
중복된 학습 데이터를 감지하고 제거하기 위한 확장 가능한 두 가지 기술을 제안합니다. 정확한_ 부분 문자열 매칭은 반복되는 축어 문자열을 식별합니다. 이를 통해 학습 예제의 일부만 중복된 경우를 식별할 수 있습니다(SS4.1). 대략적인_ 전체 문서 매칭은 해시 기반 기술(Broder, 1997)을 사용하여 \(n\)-그램이 높은 문서 쌍을 식별합니다(SS4.2).