We also do not investigate the negative consequences of deduplication. Some language tasks explicitly require memorization, like document retrieval or closed-book question answering. Also, text that gives attribution is often duplicated across documents, so removing duplicate substrings could correspond to removing _just_ the attribution, which could result in models that learn the content without its attached attribution. Deduplication is also not sufficient to remove privacy-sensitive data like bank passwords and medical records which should never be used in training data (Brown et al., 2022).
우리는 또한 중복 제거의 부정적인 결과에 대해서는 조사하지 않았습니다. 일부 언어 작업은 문서 검색이나 폐쇄형 질문 응답과 같이 명시적으로 암기를 요구합니다. 또한, 출처를 명시하는 텍스트는 종종 문서 간에 중복되므로, 중복된 부분 문자열을 제거하는 것은 출처만 제거하는 것과 같을 수 있으며, 이는 출처 없이 내용을 학습하는 모델을 초래할 수 있습니다. 중복 제거는 또한 은행 비밀번호나 의료 기록과 같은 민감한 개인정보를 제거하는 데 충분하지 않으며, 이러한 데이터는 절대로 학습 데이터에 사용되어서는 안 됩니다 (Brown et al., 2022).
또한 중복 제거의 부정적인 결과에 대해서도 조사하지 않습니다. 문서 검색이나 폐쇄형 문제 답변과 같이 일부 언어 작업에는 명시적으로 암기가 필요합니다. 또한 출처를 제공하는 텍스트는 문서 간에 중복되는 경우가 많으므로 중복된 하위 문자열을 제거하면 출처만 제거하는 것과도 같을 수 있으며, 이로 인해 출처가 첨부되지 않은 콘텐츠만 학습하는 모델이 만들어질 수 있습니다. 또한 학습 데이터에 사용해서는 안 되는 은행 비밀번호나 의료 기록과 같은 개인정보 보호에 민감한 데이터를 제거하기에는 중복 제거만으로는 충분하지 않습니다(Brown et al., 2022).