Yes, we applied extensive preprocessing and cleaning of the data. We first filter URLs to remove adult content using a blocklist and a score system (Appendix G.1), we then use trafilatura (Barbaresi, 2021) to extract content from pages, and perform language identification with the fastText classifier from CCNet (Wenzek et al., 2020). After this first preprocessing stage, we filter data using heuristics from MassiveWeb (Rae et al., 2021) and our own line-wise corrections (Appendix G.2). Finally, we run extensive deduplication, removing URLs revisited across dumps (Section 3.3) and performing subsequently fuzzy and exact substring deduplication, with each stage drawing from Lee et al. (2022). See Section 3 for further details and Table 2 for an outline.
예, 데이터에 대한 광범위한 전처리 및 정리를 적용했습니다. 먼저 차단 목록과 점수 시스템(부록 G.1)을 사용하여 성인 콘텐츠를 제거하기 위해 URL을 필터링한 다음, trafilatura (Barbaresi, 2021)를 사용하여 페이지에서 콘텐츠를 추출하고, CCNet의 fastText classifier (Wenzek et al., 2020)로 언어 식별을 수행합니다. 이 첫 번째 전처리 단계 후에 MassiveWeb (Rae et al., 2021)의 heuristics과 자체 라인별 수정(부록 G.2)을 사용하여 데이터를 필터링합니다. 마지막으로, 광범위한 deduplication을 실행하여 덤프 전체에서 다시 방문한 URL을 제거하고(섹션 3.3), 이후 fuzzy 및 정확한 하위 문자열 deduplication을 수행하며, 각 단계는 Lee et al. (2022)에서 가져옵니다. 자세한 내용은 섹션 3을 참조하고 개요는 표 2를 참조하세요.
예, 데이터에 대한 광범위한 전처리 및 정리를 적용했습니다. 먼저 차단 목록과 점수 시스템(부록 G.1)을 사용하여 성인 콘텐츠를 제거하기 위해 URL을 필터링한 다음, 트라필라투라(Barbaresi, 2021)를 사용하여 페이지에서 콘텐츠를 추출하고, CCNet의 fastText 분류기(Wenzek et al., 2020)로 언어 식별을 수행합니다. 이 첫 번째 전처리 단계 후에 MassiveWeb(Rae et al., 2021)의 휴리스틱과 자체 라인별 수정(부록 G.2)을 사용하여 데이터를 필터링합니다. 마지막으로, 광범위한 중복 제거를 실행하여 덤프 전체에서 다시 방문한 URL을 제거하고(섹션 3.3), 이후 퍼지 및 정확한 하위 문자열 중복 제거를 수행하며, 각 단계는 Lee et al.(2022)에서 가져옵니다. 자세한 내용은 섹션 3을 참조하고 개요는 표 2를 참조하세요.