기 설정 된 규칙 의 적용 에 앞서 , 원문 데이터 는 구성 요소 추출 부 ( 132 ) 에 의해 텍스트 전처리 ( Text preprocessing ) 과정 을 거칠 수 있 다 . 텍스트 전처리 의 예 로서 , 토큰 화 ( Tokenization ) , 정제 ( Cleaning ) , 정규 화 ( Normalization ) , 어간 추출 ( Stemming ) , 표제어 추출 ( Lemmatization ) , 불 용어 ( Stopword ) 제거 , 정규 표현식 ( Regular Expression ) 처리 , 데이터 분리 ( Splitting Data ) , 정수 인코딩 ( Integer Encoding ) , 원 - 핫 인코딩 ( One - hot encoding ) , 단어 분리 ( Subword Segmentation ) 등 이 있 다 . 이 와 같 은 텍스트 전처리 는 기 설정 된 규칙 의 일부 로서 적용 될 수 도 있 다 .