Figure 2: Impact of deduplicating the training set on validation perplexity. We plot the results from T5 XL (see Appendix for base-sized model). For C4, we evaluate on _C4 Original_, the original validation set; _C4 Unique_, a subset of the validation set identified by NearDup as having zero matches across C4; and _C4 Duplicates_, a subset of the validation set identified by NearDup as having a match in the C4 train set.
그림 2: 훈련 세트 중복 제거가 validation perplexity에 미치는 영향. T5 XL의 결과를 플롯합니다(기본 크기 모델은 부록 참조). C4의 경우, 원래 validation 집합인 _C4 Original_, NearDup에 의해 C4에서 일치하는 항목이 0개인 것으로 확인된 validation 집합의 하위 집합인 _C4 Unique_, 그리고 NearDup에 의해 C4 훈련 집합에서 일치하는 항목이 있는 것으로 확인된 validation 집합의 하위 집합인 _C4 Duplicates_에 대해 평가합니다.
그림 2: 훈련 세트 중복 제거가 유효성 검사 난해함에 미치는 영향. T5 XL의 결과를 플롯합니다(기본 크기 모델은 부록 참조). C4의 경우, 원래 유효성 검사 집합인 _C4 Original_, NearDup에 의해 C4에서 일치하는 항목이 0개인 것으로 확인된 유효성 검사 집합의 하위 집합인 _C4 Unique_, 그리고 NearDup에 의해 C4 훈련 집합에서 일치하는 항목이 있는 것으로 확인된 유효성 검사 집합의 하위 집합인 _C4 Duplicates_에 대해 평가합니다.