To summarize, data duplication offers significant advantages and no observed disadvantages. In the remainder of this paper we present our text deduplication framework in SS4, and study the extent of duplicate content in common NLP datasets (e.g., C4, Wiki-40B, and LM1B) in SS5. We then examine the impact of deduplication on test perplexity (SS6.1) and on the frequency of emitting memorized content (SS6.2). Finally, we analyze to what extent perplexity on existing, released models are skewed as a result of overlap between the train and test/validation splits (SS6.3).
요약하자면, 데이터 중복은 상당한 이점을 제공하며 관찰된 단점은 없습니다. 이 백서의 나머지 부분에서는 SS4에서 텍스트 중복 제거 프레임워크를 제시하고, SS5에서 일반적인 NLP 데이터 세트(예: C4, Wiki-40B, LM1B)에서 중복 콘텐츠의 정도를 연구합니다. 그런 다음 중복 제거가 테스트 Perplexity(SS6.1)와 암기된 콘텐츠 방출 빈도(SS6.2)에 미치는 영향을 조사합니다. 마지막으로, 기존의 출시된 모델에 대한 Perplexity가 훈련과 테스트/검증 분할 간의 중복으로 인해 어느 정도 왜곡되는지 분석합니다(SS6.3).
요약하자면, 데이터 중복은 상당한 이점을 제공하며 관찰된 단점은 없습니다. 이 백서의 나머지 부분에서는 SS4에서 텍스트 중복 제거 프레임워크를 제시하고, SS5에서 일반적인 NLP 데이터 세트(예: C4, Wiki-40B, LM1B)에서 중복 콘텐츠의 정도를 연구합니다. 그런 다음 중복 제거가 테스트 당혹감(SS6.1)과 암기된 콘텐츠 방출 빈도(SS6.2)에 미치는 영향을 조사합니다. 마지막으로, 기존의 출시된 모델에 대한 당혹감이 훈련과 테스트/검증 분할 간의 중복으로 인해 어느 정도 왜곡되는지 분석합니다(SS6.3).