Text extraction.We want to extract only the main content of the page, ignoring menus, headers, footers, and ads among others: Lopukhin (2019) found that trafilatura (Barbaresi, 2021) was the best non-commercial library for retrieving content from blog posts and news articles. Although this is only a narrow subset of the kind of pages making up CommonCrawl, we found this finding to hold more broadly. We use trafilatura for text extraction, and apply extra formatting via regular expressions: we limit new lines to two consecutive ones, and remove all URLs.
텍스트 추출. 우리는 메뉴, 헤더, 푸터, 광고 등을 무시하고 페이지의 주요 콘텐츠만 추출하고자 합니다. Lopukhin (2019)은 trafilatura (Barbaresi, 2021)가 블로그 게시물 및 뉴스 기사에서 콘텐츠를 가져오는 데 가장 좋은 비상업적 라이브러리라고 발견했습니다. 비록 이것이 CommonCrawl을 구성하는 페이지의 좁은 하위 집합에 불과하지만, 우리는 이 결과가 더 넓게 적용된다는 것을 발견했습니다. 우리는 텍스트 추출을 위해 trafilatura를 사용하고, 정규 표현식을 통해 추가 형식을 적용합니다: 새로운 줄을 두 개의 연속된 줄로 제한하고 모든 URL을 제거합니다.
텍스트 추출.메뉴, 헤더, 바닥글, 광고 등을 무시하고 페이지의 주요 콘텐츠만 추출하려고 합니다: Lopukhin(2019)은 블로그 게시물과 뉴스 기사에서 콘텐츠를 검색하는 데 있어 비상업용 라이브러리 중 trafilatura(Barbaresi, 2021)가 가장 좋다는 것을 발견했습니다. 이는 CommonCrawl을 구성하는 페이지의 일부에 불과하지만, 이 결과는 더 폭넓게 적용될 수 있다고 생각합니다. 텍스트 추출에는 trafilatura를 사용하고 정규식을 통해 추가 서식을 적용합니다. 즉, 새 줄은 연속된 두 줄로 제한하고 모든 URL을 제거합니다.