Heuristic Rule FiltersThis part of filter aims for removing text of low quality. We filter out text based on: (1). URL, domain, word blocklists and garbled text filters; (2). document length, the ratio of special symbols, and the ratio of short, consecutive, or incomplete lines; (3). repeated words, n-grams, or paragraphs [58]; The filtering thresholds are based on a statistical analysis of large document samples, as described in Nguyen et al. [52]. Furthermore, we identify and anonymize Personal Identifiable Information (PII), such as email addresses and phone numbers.
휴리스틱 규칙 필터 이 필터 부분은 저품질 텍스트를 제거하는 것을 목표로 합니다. 우리는 다음을 기준으로 텍스트를 필터링합니다: (1) URL, 도메인, 단어 차단 목록 및 깨진 텍스트 필터; (2) 문서 길이, 특수 기호의 비율, 짧고 연속적이거나 불완전한 줄의 비율; (3) 반복된 단어, n-그램 또는 단락 [58]; 필터링 임계값은 Nguyen et al. [52]에서 설명한 대로 대규모 문서 샘플의 통계 분석을 기반으로 합니다. 또한, 이메일 주소 및 전화번호와 같은 개인 식별 정보를 식별하고 익명화합니다.
휴리스틱 규칙 필터이 필터의 목적은 품질이 낮은 텍스트를 제거하는 것입니다. (1). URL, 도메인, 단어 차단 목록 및 엉터리 텍스트 필터, (2). 문서 길이, 특수 기호의 비율, 짧고 연속적이거나 불완전한 줄의 비율, (3). 반복되는 단어, n-그램 또는 단락 [58]을 기반으로 텍스트를 필터링합니다[58]. 필터링 임계값은 Nguyen 등[52]에서 설명한 대로 대규모 문서 샘플에 대한 통계 분석을 기반으로 합니다. 또한 이메일 주소 및 전화번호와 같은 개인 식별 정보(PII)를 식별하고 익명화합니다.