Both deduplication methods identify overlap between the train set and the validation set (Table 2). For example, 4.6% of the C4 validation set and 14.4% of the RealNews validation set examples had an approximate duplicate in their respective training sets. Such duplication is problematic since it could cause evaluation metrics to be unfairly inflated for models that are better at memorizing their train sets. We evaluate the effect of this leakage on publicly released models in Section 6.3.
두 중복 제거 방법 모두 훈련 세트와 검증 세트 간의 중복을 식별합니다 (표 2). 예를 들어, C4 검증 세트의 4.6%와 RealNews 검증 세트의 14.4% 예제가 각각의 훈련 세트에 대략적인 중복을 가지고 있었습니다. 이러한 중복은 훈련 세트를 더 잘 기억하는 모델에 대해 평가 지표가 부당하게 상승할 수 있기 때문에 문제가 됩니다. 우리는 6.3절에서 공개된 모델에 대한 이 누출의 영향을 평가합니다.
두 중복 제거 방법 모두 훈련 세트와 유효성 검사 세트 간의 중복을 식별합니다(표 2). 예를 들어, C4 유효성 검사 세트의 4.6%, RealNews 유효성 검사 세트의 14.4% 예제가 각 훈련 세트에서 대략적인 중복을 가졌습니다. 이러한 중복은 모델이 훈련 세트를 더 잘 외우는 경우 평가 메트릭이 부당하게 부풀려질 수 있으므로 문제가 됩니다. 이러한 유출이 공개된 모델에 미치는 영향은 섹션 6.3에서 평가합니다.