A significant fraction of the collected data is either in PDF files or is text extracted from PDFs14. This means that the text has some artifacts, including i) page numbers in the middle of sentences; ii) line numbers; iii) non-normalized unicode characters; iv) broken lines of text; v) repeated characters: new lines, dashes, etc; vi) other artifacts. We addressed these issues using a combination of rules and heuristics to filter the data.
수집된 데이터의 상당 부분은 PDF 파일이거나 PDF14에서 추출한 텍스트입니다. 즉, 텍스트에는 i) 문장 중간에 페이지 번호, ii) 줄 번호, iii) 정규화되지 않은 유니코드 문자, iv) 끊어진 텍스트 줄, v) 반복된 문자: 새 줄, 대시 등, vi) 기타 artifacts 등 일부 artifacts가 포함되어 있습니다. 이러한 문제를 해결하기 위해 규칙과 heuristics를 조합하여 데이터를 필터링했습니다.
수집된 데이터의 상당 부분은 PDF 파일이거나 PDF14에서 추출한 텍스트입니다. 즉, 텍스트에는 i) 문장 중간에 페이지 번호, ii) 줄 번호, iii) 정규화되지 않은 유니코드 문자, iv) 끊어진 텍스트 줄, v) 반복된 문자: 새 줄, 대시 등, vi) 기타 아티팩트 등 일부 아티팩트가 포함되어 있습니다. 이러한 문제를 해결하기 위해 규칙과 휴리스틱을 조합하여 데이터를 필터링했습니다.