With NearDup, we found that the web-scrape datasets contain between 3.04% (on C4) to 13.63% (on RealNews) near duplicates (Table 2). Nearduplicate text is much less common in Wiki-40B, forming only 0.39% of the train set.2 In C4, the majority (1.8M) of near-duplicate clusters consisted of just a single pair of examples that matched against each other, but there were 280 clusters with over 5,000 examples in them (Figure 1), including one cluster of size 250,933.
NearDup을 사용하여 웹 스크래핑 데이터셋에서 3.04% (C4)에서 13.63% (RealNews) 사이의 유사 중복이 포함되어 있음을 발견했습니다 (표 2). 유사 중복 텍스트는 Wiki-40B에서는 훨씬 덜 일반적이며, 학습 세트의 0.39%만을 차지합니다. C4에서는 대부분의 유사 중복 클러스터(1.8M)가 서로 일치하는 단일 쌍의 예제로 구성되었지만, 5,000개 이상의 예제를 포함하는 280개의 클러스터가 있었습니다 (그림 1), 여기에는 250,933개의 예제를 포함하는 하나의 클러스터도 포함됩니다.
NearDup을 사용하면 웹 스크랩 데이터 세트에 3.04%(C4)에서 13.63%(RealNews) 사이의 근사 중복이 포함되어 있음을 알 수 있습니다(표 2). 위키-40B에는 근사 중복 텍스트가 훨씬 덜 일반적이며, 학습 세트의 0.39%에 불과합니다.2 C4에서는 대부분(1.8M)의 근사 중복 클러스터가 서로 일치하는 한 쌍의 예시로 구성되었지만, 250,933개 크기의 클러스터를 포함하여 5,000개 이상의 예시가 포함된 280개의 클러스터가 있었습니다(그림 1).