또한 , 문서 상태 판 별부 ( 20 ) 는 제 1 과정 ( S 10 ) 에서 텍스트 정제 부 ( 10 ) 에 의한 형태소 분석 및 기본 적 인 전처리 시 특수 문자 나 신조어 등 의 사전 에 속하 지 않 는 단어 가 많 은 문서 를 제 1 그룹 으로 판별 한다 . 즉 , 문서 상태 판 별부 ( 20 ) 는 텍스트 정제 부 ( 10 ) 에 의해 적어도 하나 이상 의 비 정형 텍스트 문서 중 에서 노이즈 로 분류 된 특수 문자 또는 상기 형태소 분석 이 되 지 않 는 사전 에 속하 지 않 는 신조어 , 자 음 및 모음 을 포함 하 는 단어 가 많 은 문서 를 제 1 그룹 으로 판별 한다 .