We then use ExactSubstr, leveraging the implementation from Lee et al. (2022)++, to identify ranges of exact duplicate text of at least 50 tokens. We experiment with three different approaches for these ranges: ExactSubstr-Cut, where we remove them from the original text, as done in the original implementation; ExactSubstr-Mask, where the dataset is unchanged but we do not compute the loss on the duplicated ranges; and ExactSubstr-Drop, where we simply drop an entire document if the duplicated ranges make up more than a certain percentage of its content.
그런 다음 Lee et al.(2022)++의 구현을 활용한 ExactSubstr을 사용하여 최소 50 tokens의 정확한 중복 텍스트 범위를 식별합니다. 이러한 범위에 대해 원래 구현에서 수행한 것처럼 원본 텍스트에서 제거하는 ExactSubstr-Cut, 데이터 세트는 변경되지 않지만 중복된 범위에 대한 loss를 계산하지 않는 ExactSubstr-Mask, 중복된 범위가 콘텐츠의 특정 비율 이상을 차지하는 경우 전체 문서를 삭제하는 ExactSubstr-Drop의 세 가지 접근 방식을 실험합니다.
그런 다음 Lee et al.(2022)++의 구현을 활용한 ExactSubstr을 사용하여 최소 50 토큰의 정확한 중복 텍스트 범위를 식별합니다. 이러한 범위에 대해 원래 구현에서 수행한 것처럼 원본 텍스트에서 제거하는 ExactSubstr-Cut, 데이터 세트는 변경되지 않지만 중복된 범위에 대한 손실을 계산하지 않는 ExactSubstr-Mask, 중복된 범위가 콘텐츠의 특정 비율 이상을 차지하는 경우 전체 문서를 삭제하는 ExactSubstr-Drop의 세 가지 접근 방식을 실험합니다.