We find that existing language modeling datasets contain many near-duplicate examples and long repetitive substrings. As a result, over \(1\%\) of the unprompted output of language models trained on these datasets is copied verbatim from the training data. We develop two tools that allow us to deduplicate training datasets--for example removing from C4 a single 61 word English sentence that is repeated over \(60{,}000\) times. Deduplication allows us to train models that emit memorized text ten times less frequently and require fewer training steps to achieve the same or better accuracy. We can also reduce train-test overlap, which affects over \(4\%\) of the validation set of standard datasets, thus allowing for more accurate evaluation. Code for deduplication is released at [https://github.com/google-research/deduplicate-text-datasets](https://github.com/google-research/deduplicate-text-datasets).
기존 언어 모델링 데이터 세트에는 중복된 예제와 반복되는 긴 하위 문자열이 많이 포함되어 있습니다. 그 결과, 이러한 데이터 세트로 학습된 언어 모델의 프롬프트 없는 출력 중 \(1\% 이상이 학습 데이터에서 그대로 복사된 것입니다. 저희는 학습 데이터 세트의 중복을 제거할 수 있는 두 가지 도구를 개발했습니다(예: C4에서 60,000회 이상 반복되는 61단어 영어 문장 하나를 제거하는 것). Deduplication을 통해 기억한 텍스트를 10배 적게 출력하고 동일하거나 더 나은 정확도를 달성하기 위해 더 적은 수의 학습 단계가 필요한 모델을 훈련할 수 있습니다. 또한 표준 데이터 세트의 유효성 검사 세트의 4% 이상에 영향을 미치는 훈련-테스트 중복을 줄일 수 있으므로 더 정확한 평가가 가능합니다. Deduplication을 위한 코드는 [https://github.com/google-research/deduplicate-text-datasets](https://github.com/google-research/deduplicate-text-datasets)에서 공개됩니다.
기존 언어 모델링 데이터 세트에는 중복된 예제와 반복되는 긴 하위 문자열이 많이 포함되어 있습니다. 그 결과, 이러한 데이터 세트로 학습된 언어 모델의 프롬프트 없는 출력 중 \(1\% 이상이 학습 데이터에서 그대로 복사된 것입니다. 저희는 학습 데이터 세트의 중복을 제거할 수 있는 두 가지 도구를 개발했습니다(예: C4에서 60,000회 이상 반복되는 61단어 영어 문장 하나를 제거하는 것). 중복 제거를 통해 기억한 텍스트를 10배 적게 출력하고 동일하거나 더 나은 정확도를 달성하기 위해 더 적은 수의 학습 단계가 필요한 모델을 훈련할 수 있습니다. 또한 표준 데이터 세트의 유효성 검사 세트의 4% 이상에 영향을 미치는 훈련-테스트 중복을 줄일 수 있으므로 더 정확한 평가가 가능합니다. 중복 제거를 위한 코드는 [https://github.com/google-research/deduplicate-text-datasets](https://github.com/google-research/deduplicate-text-datasets)에서 공개됩니다.