We show that one particular source of bias, duplicated training examples, is pervasive: all four common NLP datasets we studied contained duplicates. Additionally, all four corresponding validation sets contained text duplicated in the training set. While naive deduplication is straightforward (and the datasets we consider already perform some naive form of deduplication), performing thorough deduplication at scale is both computationally challenging and requires sophisticated techniques.
우리는 중복된 훈련 예제라는 특정한 편향의 원천이 널리 퍼져 있음을 보여줍니다: 우리가 연구한 네 가지 일반적인 NLP 데이터셋 모두 중복을 포함하고 있었습니다. 추가로, 네 가지 해당 검증 세트 모두 훈련 세트에 중복된 텍스트를 포함하고 있었습니다. 단순한 중복 제거는 간단하지만 (우리가 고려한 데이터셋은 이미 일부 단순한 형태의 중복 제거를 수행하고 있습니다), 대규모로 철저한 중복 제거를 수행하는 것은 계산적으로 도전적이며 정교한 기술을 필요로 합니다.
모방 학습 예제의 중복과 같은 편향의 한 가지 특정 원인이 광범위하게 존재한다는 것을 보여주었습니다: 우리가 연구한 네 가지 일반적인 NLP 데이터 세트 모두 중복이 포함되어 있었습니다. 또한 네 가지 유효성 검사 세트 모두 학습 세트에 중복된 텍스트가 포함되어 있었습니다. 순진한 중복 제거는 간단하지만(우리가 고려한 데이터 세트는 이미 일부 순진한 형태의 중복 제거를 수행하고 있습니다), 대규모로 철저한 중복 제거를 수행하는 것은 계산적으로 어렵고 정교한 기술이 필요합니다.