Our URL filtering focuses on finding domains that are related to adult content, that may be harmful to users, or that are very likely to contain mostly unstructured text/spam (e.g., file hosting websites). First, we aggregated a list of 4.6M domains, detailed in Appendix G.1.1, that we explicitly ban; then, we built a simple URL scoring system, based on matching subwords in the URL against a list of words we curated (see Appendix G.1.2). We curated this list of words based on manual inspection, cross-referencing results with pages surfaced by ToxicBERT as being outliers in toxicity (Hanu and Unitary team, 2020).
URL filtering은 사용자에게 해로울 수 있거나 대부분의 경우 비정형 텍스트/스팸을 포함할 가능성이 높은(예: 파일 호스팅 웹사이트) 성인 콘텐츠와 관련된 도메인을 찾는 데 중점을 둡니다. 먼저, 부록 G.1.1에 자세히 설명된 460만 개의 도메인 목록을 수집하여 명시적으로 차단한 다음, URL의 하위 단어와 큐레이션한 단어 목록(부록 G.1.2 참조)을 일치시키는 간단한 URL scoring 시스템을 구축했습니다. 이 단어 목록은 수동 검사를 기반으로 큐레이션했으며, 독성 측면에서 이상값으로 밝혀진 페이지와의 결과를 ToxicBERT와 교차 참조하여 큐레이션했습니다(Hanu 및 Unitary 팀, 2020).
URL 필터링은 사용자에게 해로울 수 있거나 대부분의 경우 비정형 텍스트/스팸을 포함할 가능성이 높은(예: 파일 호스팅 웹사이트) 성인 콘텐츠와 관련된 도메인을 찾는 데 중점을 둡니다. 먼저, 부록 G.1.1에 자세히 설명된 460만 개의 도메인 목록을 수집하여 명시적으로 차단한 다음, URL의 하위 단어와 큐레이션한 단어 목록(부록 G.1.2 참조)을 일치시키는 간단한 URL 점수 시스템을 구축했습니다. 이 단어 목록은 수동 검사를 기반으로 큐레이션했으며, 독성 측면에서 이상값으로 밝혀진 페이지와의 결과를 ToxicBERT와 교차 참조하여 큐레이션했습니다(Hanu 및 Unitary 팀, 2020).