RealNewsis a subset of the Common Crawl consisting of articles from news domains Zellers et al. (2019). It contains 31M documents with average length 793 BPE tokens. RealNews was deduplicated by inserting a hash of the first 100 characters of each document into a bloom filter Bloom (1970) and then excluding any document which resulted in a hash collision. Like C4, examples with duplicate URLs were excluded.
RealNews는 뉴스 도메인의 기사로 구성된 Common Crawl의 하위 집합입니다 Zellers et al. (2019). 평균 길이 793 BPE 토큰의 31M 문서가 포함되어 있습니다. RealNews는 각 문서의 처음 100자의 해시를 bloom filter Bloom (1970)에 삽입한 다음 해시 충돌이 발생한 문서를 제외하여 중복 제거했습니다. C4와 마찬가지로 URL이 중복된 예는 제외되었습니다.
RealNews는 뉴스 도메인의 기사로 구성된 Common Crawl의 하위 집합입니다 Zellers et al. (2019). 평균 길이 793 BPE 토큰의 31M 문서가 포함되어 있습니다. RealNews는 각 문서의 처음 100자의 해시를 블룸 필터 Bloom (1970)에 삽입한 다음 해시 충돌이 발생한 문서를 제외하여 중복 제거했습니다. C4와 마찬가지로 URL이 중복된 예는 제외되었습니다.