Duplicate text in training data.The Book Corpus Zhu et al. (2015), which was used to train popular models such as BERT, has a substantial amount of exact-duplicate documents according to Bandy and Vincent (2021). Allamanis (2019) shows that duplicate examples in code datasets cause worsened performance on code understanding tasks.
훈련 데이터에서 중복된 텍스트. BERT와 같은 인기 있는 모델을 훈련시키는 데 사용된 Book Corpus Zhu et al. (2015)은 Bandy와 Vincent (2021)에 따르면 상당한 양의 정확히 중복된 문서를 포함하고 있습니다. Allamanis (2019)는 코드 데이터셋에서 중복된 예제가 코드 이해 작업의 성능을 저하시킨다는 것을 보여줍니다.
훈련 데이터의 중복 텍스트.BERT와 같은 인기 있는 모델을 훈련하는 데 사용된 Book Corpus Zhu 등(2015)은 Bandy와 Vincent(2021)에 따르면 상당한 양의 정확한 중복 문서를 가지고 있습니다. Allamanis(2019)는 코드 데이터 세트의 중복 예제가 코드 이해 작업의 성능 저하를 유발한다는 것을 보여줍니다.