Figure 5: **Make-up of RefinedWeb in document lengths (left) and top domains (right).** (a) We find the OSCAR datasets and RW-Raw to have similar document length distributions; following filtering, most of the short documents are discarded from RW-Filtered. As deduplication removes spans, it reintroduces shorter documents to RefinedWeb. We note the make-up of C4 and RefinedWeb to be relatively similar, with a longer tail of short documents for RefinedWeb. Finally, The File exhibit a unique make-up, with a long tail of both long (books, etc.) and short documents. (b) Top domains in RefinedWeb span from popular content platforms (Blogspot, WordPress, Tumblr, etc.), to news websites (CNN, New York Times, etc.), and include also technical content such as BioMed Central or Springer.
그림 5: **문서 길이(왼쪽)와 상위 도메인(오른쪽)의 RefinedWeb 구성.** (a) OSCAR 데이터 세트와 RW-Raw의 문서 길이 분포가 유사한 것을 알 수 있으며, 필터링 후 RW-Filtered에서 짧은 문서의 대부분이 삭제됩니다. 중복 제거는 범위를 제거하면서 짧은 문서를 RefinedWeb에 다시 도입합니다. C4와 RefinedWeb의 구성은 비교적 유사하며, RefinedWeb의 경우 짧은 문서의 꼬리가 더 길다는 점에 유의합니다. 마지막으로, The File은 긴 문서(예: 책 등)와 짧은 문서의 꼬리가 모두 길어 독특한 구성을 보입니다. (b) RefinedWeb의 상위 도메인은 인기 있는 콘텐츠 플랫폼(Blogspot, WordPress, Tumblr 등)부터 뉴스 웹사이트(CNN, New York Times 등)에 이르기까지 다양하며, BioMed Central 또는 Springer와 같은 기술 콘텐츠도 포함됩니다.
그림 5: **문서 길이(왼쪽)와 상위 도메인(오른쪽)의 RefinedWeb 구성.** (a) OSCAR 데이터 세트와 RW-Raw의 문서 길이 분포가 유사한 것을 알 수 있으며, 필터링 후 RW-Filtered에서 짧은 문서의 대부분이 삭제됩니다. 중복 제거는 범위를 제거하면서 짧은 문서를 RefinedWeb에 다시 도입합니다. C4와 RefinedWeb의 구성은 비교적 유사하며, RefinedWeb의 경우 짧은 문서의 꼬리가 더 길다는 점에 유의합니다. 마지막으로, The File은 긴 문서(예: 책 등)와 짧은 문서의 꼬리가 모두 길어 독특한 구성을 보입니다. (b) RefinedWeb의 상위 도메인은 인기 있는 콘텐츠 플랫폼(Blogspot, WordPress, Tumblr 등)부터 뉴스 웹사이트(CNN, 뉴욕 타임즈 등)에 이르기까지 다양하며, BioMed Central 또는 Springer와 같은 기술 콘텐츠도 포함됩니다.