URL filtering.Before undertaking any compute-heavy processing, we perform a first filtering based on the URL alone. This targets fraudulent and/or adult websites (e.g., predominantly pornographic, violent, related to gambling, etc.). We base our filtering on two rules: (1) an aggregated blocklist of 4.6M domains; (2) a URL score, based on the presence of words from a list we curated and weighed by severity. We found that commonly used blocklists include many false positives, such as popular blogging platforms or even pop culture websites. Furthermore, word-based rules (like the one used in C4, Raffel et al. (2020)) can easily result in medical and legal pages being blocked. Our final detailed rules based on this investigation are shared in Appendix G.1. Since we intend RefinedWeb to be used as part of an aggregate dataset along with curated corpora, we also filtered common sources of high-quality data: Wikipedia, arXiv, etc. The detailed list is available in Appendix G.1.3.
URL filtering. 컴퓨팅 집약적인 처리를 수행하기 전에 URL만을 기반으로 첫 번째 filtering을 수행합니다. 이는 사기 및/또는 성인 웹사이트(예: 주로 음란물, 폭력, 도박 관련 등)를 대상으로 합니다. filtering은 (1) 460만 개의 도메인이 집계된 blocklist와 (2) 우리가 큐레이션하고 심각도에 따라 가중치를 부여한 목록에 포함된 단어의 존재 여부를 기반으로 한 URL score라는 두 가지 규칙을 기반으로 합니다. 일반적으로 사용되는 blocklist에는 인기 있는 블로깅 플랫폼이나 대중 문화 웹사이트와 같은 오탐이 많이 포함되어 있습니다. 또한 단어 기반 규칙(예: C4, Raffel et al. (2020))을 사용하면 의료 및 법률 페이지가 차단될 수 있습니다. 이 조사를 기반으로 한 최종 세부 규칙은 부록 G.1에 공유되어 있습니다. RefinedWeb이 큐레이션된 말뭉치와 함께 집계 데이터 세트의 일부로 사용될 예정이므로 고품질 데이터의 일반적인 소스인 Wikipedia, arXiv 등도 filtering했습니다. 자세한 목록은 부록 G.1.3에서 확인할 수 있습니다.
URL 필터링.컴퓨팅 집약적인 처리를 수행하기 전에 URL만을 기반으로 첫 번째 필터링을 수행합니다. 이는 사기 및/또는 성인 웹사이트(예: 주로 음란물, 폭력, 도박 관련 등)를 대상으로 합니다. 필터링은 (1) 460만 개의 도메인이 집계된 차단 목록과 (2) 우리가 큐레이션하고 심각도에 따라 가중치를 부여한 목록에 포함된 단어의 존재 여부를 기반으로 한 URL 점수라는 두 가지 규칙을 기반으로 합니다. 일반적으로 사용되는 차단 목록에는 인기 있는 블로깅 플랫폼이나 대중 문화 웹사이트와 같은 오탐이 많이 포함되어 있습니다. 또한 단어 기반 규칙(예: C4, Raffel et al. (2020))을 사용하면 의료 및 법률 페이지가 차단될 수 있습니다. 이 조사를 기반으로 한 최종 세부 규칙은 부록 G.1에 공유되어 있습니다. RefinedWeb이 큐레이션된 말뭉치와 함께 집계 데이터 세트의 일부로 사용될 예정이므로 고품질 데이터의 일반적인 소스인 Wikipedia, arXiv 등도 필터링했습니다. 자세한 목록은 부록 G.1.3에서 확인할 수 있습니다.