CNN 모델 을 이용 한 학습 을 통하 여 CNN 모델 표정 데이터베이스 를 구축 하 는 단계 ; SVM 모델 을 이용 한 학습 을 통하 여 SVM 모델 표정 데이터베이스 를 구축 하 는 단계 ; 인식 용 이미지 에 대하 여 CNN 모델 을 이용 한 표정 데이터 획득 단계 ; 인식 용 이미지 에 대하 여 SVM 모델 을 이용 한 표정 데이터 획득 단계 ; 상기 CNN 모델 을 이용 한 표정 데이터 에 대해 상기 CNN 모델 표정 데이터베이스 를 검색 하 여 가장 근접 한 CNN 모델 표정 분류 데이터 를 추출 하 고 , 상기 추출 된 CNN 모델 표정 분류 데이터 에 제 1 가중치 를 가산 하 여 CNN 모델 가중치 연산 표정 데이터 를 산출 하 는 단계 ; 상기 SVM 모델 을 이용 한 표정 데이터 에 대해 상기 SVM 모델 표정 데이터베이스 검색 하 여 가장 근접 한 SVM 모델 표정 분류 데이터 값 을 추출 하 고 , 상기 추출 된 SVM 모델 표정 분류 데이터 에 제 2 가중치 를 가산 하 여 SVM 모델 가중치 연산 표정 데이터 값 을 산출 하 는 단계 ; 및 상기 CNN 모델 가중치 연산 표정 데이터 값 과 SVM 모델 가중치 연산 표정 데이터 값 을 결합 하 여 최종 인식 용 표정 데이터 를 산출 하 고 , 가장 확률 이 높 은 값 을 선택 하 여 표정 을 인식 하 는 표정 인식 단계 ; 를 포함 하 는 것 을 특징 으로 하 는 멀티 모달 데이터 기반 표정 인식 방법 이 제공 된다 .