Despite the improvements brought forth by running text extraction with Trafilatura, we found that a number of irrelevant lines still seeped through. These lines are usually related to navigation menus, call to actions, or social media counters. Following manual inspection of the data, we devised a line-wise filtering strategy.
Trafilatura로 텍스트 추출을 실행함으로써 개선된 점에도 불구하고 여전히 많은 관련 없는 줄이 스며드는 것을 발견했습니다. 이러한 줄은 일반적으로 탐색 메뉴, 클릭 유도 문안 또는 소셜 미디어 카운터와 관련이 있습니다. 데이터를 수동으로 검사한 후 line-wise filtering 전략을 고안했습니다.
Trafilatura로 텍스트 추출을 실행함으로써 개선된 점에도 불구하고 여전히 많은 관련 없는 줄이 스며드는 것을 발견했습니다. 이러한 줄은 일반적으로 탐색 메뉴, 클릭 유도 문안 또는 소셜 미디어 카운터와 관련이 있습니다. 데이터를 수동으로 검사한 후 줄 단위 필터링 전략을 고안했습니다.