While the authors of both RealNews and C4 explicitly attempted deduplication during dataset construction, the methods were insufficient to capture the more subtle types of duplicate text commonly found on the internet. In C4 and Wiki-40B, we qualitatively observe that much of the text identified as near-duplicated is computer-generated. The text is identical except for the names of places, businesses, products, dates, and so on. Because these examples frequently differ by just a few words at a time, deduplication strategies relying on exact string matching would fail to identify a match. Example duplicate pairs from each dataset can be found in Table 1 (more examples in the Appendix).
RealNews와 C4의 저자들은 데이터 세트 구축 과정에서 명시적으로 deduplication을 시도했지만, 인터넷에서 흔히 볼 수 있는 더 미묘한 유형의 중복 텍스트를 포착하기에는 방법이 불충분했습니다. C4와 Wiki-40B에서 거의 중복된 것으로 식별된 텍스트의 대부분이 컴퓨터로 생성된 것으로 정성적으로 관찰됩니다. 장소, 비즈니스, 제품, 날짜 등의 이름을 제외하고는 텍스트가 동일합니다. 이러한 예는 한 번에 단 몇 단어만 다르기 때문에 정확한 문자열 일치에 의존하는 deduplication 전략은 일치하는 항목을 식별하지 못합니다. 각 데이터 세트의 중복 쌍 예는 표 1에서 확인할 수 있습니다(추가 예는 부록에서 확인).
RealNews와 C4의 저자들은 데이터 세트 구축 과정에서 명시적으로 중복 제거를 시도했지만, 인터넷에서 흔히 볼 수 있는 더 미묘한 유형의 중복 텍스트를 포착하기에는 방법이 불충분했습니다. C4와 Wiki-40B에서 거의 중복된 것으로 식별된 텍스트의 대부분이 컴퓨터로 생성된 것으로 정성적으로 관찰됩니다. 장소, 비즈니스, 제품, 날짜 등의 이름을 제외하고는 텍스트가 동일합니다. 이러한 예는 한 번에 단 몇 단어만 다르기 때문에 정확한 문자열 일치에 의존하는 중복 제거 전략은 일치하는 항목을 식별하지 못합니다. 각 데이터 세트의 중복 쌍 예는 표 1에서 확인할 수 있습니다(추가 예는 부록에서 확인).