Learned FiltersWe use learned filters to address nuanced cases that exceed the capabilities of standard heuristic rules. Notably, the Chinese content extracted from Common Crawl present unique challenges, particularly with a higher ratio of inappropriate content like pornography and gambling. Traditional heuristic-rule-based filters struggle to effectively identify and eliminate all harmful content. To enhance our filtering process, we have integrated a suite of learned scorers for filtering, namely the perplexity scorer, quality scorer, safety scorer, and document coherence scorer: (1). the _Perplexity Scorer_, utilizing the KenLM library as per CCNet [80], evaluates a vast array of web documents, discarding those with perplexity scores largely above average; (2). the _Quality Scorer_ is a classifier trained to recognize and favor pages similar to Wikipedia in quality and assign scores accordingly. Documents that fail to meet the quality standard are subsequently removed; (3). the _Document Coherence Scorer_ identifies low-quality web documents that consist of disparate sentences or paragraphs, thus being incoherence. Such documents are either segmented for further analysis or removed entirely. (4). the _Safety Scorer_ identifies and removes web documents containing toxic content, such as violence, pornography, and political propaganda.
학습된 필터학습된 필터는 표준 heuristic 규칙의 기능을 초과하는 미묘한 사례를 해결하기 위해 사용됩니다. 특히, Common Crawl에서 추출한 중국어 콘텐츠는 음란물이나 도박과 같은 부적절한 콘텐츠의 비율이 높아 독특한 문제를 야기합니다. 기존의 heuristic 규칙 기반 필터는 모든 유해한 콘텐츠를 효과적으로 식별하고 제거하는 데 어려움을 겪습니다. 필터링 프로세스를 개선하기 위해 필터링을 위한 학습 스코어링 제품군, 즉 Perplexity Scorer, Quality Scorer, Safety Scorer, Document Coherence Scorer를 통합했습니다: (1). KenLM 라이브러리를 CCNet [80]에 따라 활용하는 _Perplexity Scorer_는 방대한 웹 문서를 평가하여 Perplexity 점수가 크게 평균 이상인 문서는 버립니다; (2). _Quality Scorer_는 품질 측면에서 위키피디아와 유사한 페이지를 인식하고 이에 따라 점수를 부여하도록 훈련된 분류기입니다. 품질 기준을 충족하지 못하는 문서는 이후 제거됩니다; (3). _Document Coherence Scorer_는 서로 다른 문장이나 단락으로 구성되어 일관성이 없는 품질이 낮은 웹 문서를 식별합니다. 이러한 문서는 추가 분석을 위해 세분화되거나 완전히 제거됩니다. (4). _Safety Scorer_는 폭력, 음란물, 정치적 선전 등 유독한 콘텐츠가 포함된 웹 문서를 식별하여 제거합니다.
학습된 필터학습된 필터는 표준 휴리스틱 규칙의 기능을 초과하는 미묘한 사례를 해결하기 위해 사용됩니다. 특히, 커먼 크롤링에서 추출한 중국어 콘텐츠는 음란물이나 도박과 같은 부적절한 콘텐츠의 비율이 높아 독특한 문제를 야기합니다. 기존의 휴리스틱 규칙 기반 필터는 모든 유해한 콘텐츠를 효과적으로 식별하고 제거하는 데 어려움을 겪습니다. 필터링 프로세스를 개선하기 위해 필터링을 위한 학습 스코어링 제품군, 즉 당혹감 스코어링, 품질 스코어링, 안전성 스코어링, 문서 일관성 스코어링을 통합했습니다: (1). KenLM 라이브러리를 CCNet [80]에 따라 활용하는 _Perplexity Scorer_는 방대한 웹 문서를 평가하여 당혹감 점수가 크게 평균 이상인 문서는 버립니다; (2). 품질 스코어링기는 품질 측면에서 위키피디아와 유사한 페이지를 인식하고 이에 따라 점수를 부여하도록 훈련된 분류기입니다. 품질 기준을 충족하지 못하는 문서는 이후 제거됩니다; (3). 문서 일관성 점수자_는 서로 다른 문장이나 단락으로 구성되어 일관성이 없는 품질이 낮은 웹 문서를 식별합니다. 이러한 문서는 추가 분석을 위해 세분화되거나 완전히 제거됩니다. (4). 안전성 점수자_는 폭력, 음란물, 정치적 선전 등 유독한 콘텐츠가 포함된 웹 문서를 식별하여 제거합니다.