Line-wise corrections.Despite the improvements brought forth by using trafilatura instead of relying on preprocessed files, many documents remain interlaced with undesirable lines (e.g., social media counters 3 likes, navigation buttons). Accordingly, we devised a line-correction filter, targeting these undesirable items. If these corrections remove more than 5% of a document, we remove it entirely. See Appendix G.2 for details.
선별 수정. 사전 처리된 파일에 의존하는 대신 trafilatura를 사용함으로써 가져온 개선 사항에도 불구하고 많은 문서가 원치 않는 줄(예: 소셜 미디어 카운터 3개, 탐색 버튼)로 인터레이스되어 있습니다. 따라서 이러한 바람직하지 않은 항목을 대상으로 line-correction 필터를 고안했습니다. 이러한 수정이 문서의 5% 이상을 제거하는 경우 문서 전체를 제거합니다. 자세한 내용은 부록 G.2를 참조하세요.
선별 수정.사전 처리된 파일에 의존하는 대신 트라피라투라를 사용함으로써 가져온 개선 사항에도 불구하고 많은 문서가 원치 않는 줄(예: 소셜 미디어 카운터 3개, 탐색 버튼)로 인터레이스되어 있습니다. 따라서 이러한 바람직하지 않은 항목을 대상으로 라인 수정 필터를 고안했습니다. 이러한 수정이 문서의 5% 이상을 제거하는 경우 문서 전체를 제거합니다. 자세한 내용은 부록 G.2를 참조하세요.