Reading the data.CommonCrawl is available in either WARC (raw HTML response), or WET files (preprocessed to only include plain text). Individual files correspond to a page at a given URL; these constitute single documents/samples. Working with WET files would spare us from running our own HTML extraction; however, in line with previous works (Gao et al., 2020; Rae et al., 2021), we found WET files to include undesirable navigation menus, ads, and other irrelevant texts. Accordingly, our pipeline starts from raw WARC files, read with the wavcio library.
데이터 읽기. CommonCrawl은 WARC(원시 HTML 응답) 또는 WET 파일(전처리되어 일반 텍스트만 포함)로 제공됩니다. 개별 파일은 주어진 URL의 페이지에 해당하며, 이는 단일 문서/샘플을 구성합니다. WET 파일을 사용하면 자체 HTML 추출을 실행할 필요가 없지만, 이전 연구(Gao et al., 2020; Rae et al., 2021)와 일치하게, WET 파일에는 원하지 않는 탐색 메뉴, 광고 및 기타 관련 없는 텍스트가 포함되어 있음을 발견했습니다. 따라서 우리의 파이프라인은 wavcio 라이브러리로 읽은 원시 WARC 파일에서 시작합니다.
데이터 읽기.CommonCrawl은 WARC(원시 HTML 응답) 또는 WET 파일(일반 텍스트만 포함하도록 사전 처리된)로 제공됩니다. 개별 파일은 특정 URL의 페이지에 해당하며, 이는 단일 문서/샘플에 해당합니다. WET 파일을 사용하면 HTML 추출을 직접 실행할 필요가 없지만, 이전 연구(Gao et al., 2020; Rae et al., 2021)에 따르면 WET 파일에 바람직하지 않은 탐색 메뉴, 광고 및 기타 관련 없는 텍스트가 포함되어 있는 것으로 나타났습니다. 따라서 파이프라인은 wavcio 라이브러리로 읽은 원시 WARC 파일에서 시작됩니다.