Rule filtersFollowing Elazar et al. (2023), we found the most common 10-grams in our dataset and used regular expressions to remove the undesired ones, which were mostly repeated characters. Concretely, \(8\) of the top \(10\) 10-grams in the original data were repeated characters, eg: "- - - -"," or "* * * * * * * * * * * * * * *, and weird characters, ie encoding issues. Additionally, we removed repeated whitespace (spaces, new lines, and tabs), as well as any HTML tag that made it through our pipeline.
규칙 필터링Elazar 등(2023)에 따라 데이터 집합에서 가장 일반적인 10-grams을 찾아 정규식을 사용하여 원하지 않는 10-grams을 제거했는데, 대부분 반복되는 문자였습니다. 구체적으로, 원본 데이터에서 상위 10개의 10-grams 중 8개가 반복되는 문자, 예: "- - - -"," 또는 "* * * * * * * * * * * * * * *, 이상 문자, 즉 인코딩 문제였습니다. 또한 반복되는 공백(공백, 개행 및 탭)과 파이프라인을 통과한 모든 HTML 태그도 제거했습니다.
규칙 필터링Elazar 등(2023)에 따라 데이터 집합에서 가장 일반적인 10그램을 찾아 정규식을 사용하여 원하지 않는 10그램을 제거했는데, 대부분 반복되는 문자였습니다. 구체적으로, 원본 데이터에서 상위 10개의 10그램 중 8개가 반복되는 문자, 예: "- - - -"," 또는 "* * * * * * * * * * * * * * *, 이상 문자, 즉 인코딩 문제였습니다. 또한 반복되는 공백(공백, 개행 및 탭)과 파이프라인을 통과한 모든 HTML 태그도 제거했습니다.