Curation.We noticed the list blocked a number of domains inappropriately; while these domains were few (\(<\)100), they accounted for a significant portion of the data filtered by the list, as these were rather prolific domains, with thousands of pages of content. To identify these false positive domains, we applied the blocklist to a subset of 832M pages. 6.04M (\(0.73\%\)) pages matched with the blocklist, and the number of occurrences per URL ranged from 1 to 79k. We manually inspected all URLs matched more than 4k times, which represented an appreciable portion of the dataset. We found a number of benign domains, such as pop culture news websites, or blogging platforms, which we removed from the list.
큐레이션. 목록이 여러 도메인을 부적절하게 차단하는 것을 발견했습니다. 이러한 도메인은 수(<100개)는 적었지만, 수천 개의 페이지가 있는 다소 유명한 도메인이었기 때문에 목록에서 필터링된 데이터의 상당 부분을 차지했습니다. 이러한 오탐 도메인을 식별하기 위해 8억 3,200만 개의 페이지 하위 집합에 blocklist를 적용했습니다. 604만 개(0.73%)의 페이지가 blocklist와 일치했으며, URL당 발생 횟수는 1회에서 79,000회까지 다양했습니다. 데이터 세트의 상당 부분을 차지하는 4,000회 이상 일치하는 모든 URL을 수동으로 검사했습니다. 그 결과 대중 문화 뉴스 웹사이트나 블로그 플랫폼과 같은 무해한 도메인을 발견하여 목록에서 제거했습니다.
큐레이션. 목록이 여러 도메인을 부적절하게 차단하는 것을 발견했습니다. 이러한 도메인은 수(<100개)는 적었지만, 수천 개의 페이지가 있는 다소 유명한 도메인이었기 때문에 목록에서 필터링된 데이터의 상당 부분을 차지했습니다. 이러한 오탐 도메인을 식별하기 위해 8억 3,200만 개의 페이지 하위 집합에 차단 목록을 적용했습니다. 604만 개(\(0.73\%\))의 페이지가 차단 목록과 일치했으며, URL당 발생 횟수는 1회에서 79,000회까지 다양했습니다. 데이터 세트의 상당 부분을 차지하는 4,000회 이상 일치하는 모든 URL을 수동으로 검사했습니다. 그 결과 대중 문화 뉴스 웹사이트나 블로그 플랫폼과 같은 무해한 도메인을 발견하여 목록에서 제거했습니다.