Exact deduplication.Exact substring operates at the sequence-level instead of the document-level, finding matches between strings that are exact token-by-token matches by using a suffix array (Manber and Myers, 1993) (e.g., specific disclaimers or notices, which may not compromise the entire document as showcased in Appendix H.2). We remove any match of more than 50 consecutive tokens, using the implementation of Lee et al. (2022). We note that exact substring alters documents, by removing specific spans: we also experimented with dropping entire documents or loss-masking the duplicated strings instead of cutting them, but this didn't result in significant changes in zero-shot performance-see Appendix G.3.2.
정확한 중복 제거. 정확한 하위 문자열은 문서 수준이 아닌 시퀀스 수준에서 작동하여 접미사 배열(Manber and Myers, 1993)을 사용하여 정확한 토큰별 일치하는 문자열 간의 일치 항목을 찾습니다(예: 부록 H.2에서 보여진 것처럼 전체 문서를 손상시키지 않을 수 있는 특정 면책 조항 또는 통지). 50개 이상의 연속 토큰이 일치하는 항목은 모두 제거하며, 이를 위해 Lee 등(2022)의 구현을 사용합니다. 정확한 하위 문자열은 특정 범위를 제거하여 문서를 변경한다는 점에 유의합니다. 전체 문서를 삭제하거나 중복된 문자열을 잘라내는 대신 loss-masking하는 방식으로도 실험을 진행했지만, zero-shot 성능에 큰 변화가 없음을 확인했습니다(부록 G.3.2 참조).
정확한 중복 제거.정확한 하위 문자열은 문서 수준이 아닌 시퀀스 수준에서 작동하여 접미사 배열(Manber and Myers, 1993)을 사용하여 정확한 토큰별 일치하는 문자열 간의 일치 항목을 찾습니다(예: 부록 H.2에서 보여진 것처럼 전체 문서를 손상시키지 않을 수 있는 특정 면책 조항 또는 통지). 50개 이상의 연속 토큰이 일치하는 항목은 모두 제거하며, 이를 위해 Lee 등(2022)의 구현을 사용합니다. 정확한 하위 문자열은 특정 범위를 제거하여 문서를 변경한다는 점에 유의합니다. 전체 문서를 삭제하거나 중복된 문자열을 잘라내는 대신 손실 마스킹하는 방식으로도 실험을 진행했지만, 제로 샷 성능에 큰 변화가 없음을 확인했습니다(부록 G.3.2 참조).