We analyze the presence of duplicate text in four datasets of varying sizes that have been used for training natural language generation systems, producing general-purpose pre-trained models, and for language model benchmarking. While this paper restricts itself to English datasets, we expect that non-English datasets suffer from similar issues and could likewise benefit from de-duplication.
자연어 생성 시스템을 훈련하고 범용 사전 학습 모델을 생성하며 언어 모델 벤치마킹에 사용된 다양한 크기의 4개 데이터 세트에서 중복 텍스트의 존재 여부를 분석합니다. 이 논문에서는 영어 데이터 세트로 제한하지만, 비영어 데이터 세트도 유사한 문제를 겪고 있으며 de-duplication을 통해 혜택을 누릴 수 있을 것으로 예상합니다.
자연어 생성 시스템을 훈련하고 범용 사전 학습 모델을 생성하며 언어 모델 벤치마킹에 사용된 다양한 크기의 4개 데이터 세트에서 중복 텍스트의 존재 여부를 분석합니다. 이 논문에서는 영어 데이터 세트로 제한하지만, 비영어 데이터 세트도 유사한 문제를 겪고 있으며 중복 제거를 통해 혜택을 누릴 수 있을 것으로 예상합니다.