본 발명 은 오디오 와 텍스트 의 융합 을 통해 음성 신호 로부터 자동 으로 인간 의 감정 을 인식 하 는 음성 감정 인식 방법 및 시스템 에 관한 것 이 다 . 본 발명 의 실시 예 에 따른 음성 감정 인식 방법 은 화자 의 발화 ( utterance ) 로부터 오디오 신호 ( Audio signal ) 를 추출 하 는 단계 ( S 10 ) 및 추출 된 상기 오디오 신호 를 토대 로 연속 된 음성 을 스펙트로그램 ( spectrogram ) 으로 변환 하 는 단계 ( S 20 ) 를 포함 할 수 있 다 . 또한 , 상기 화자 의 발화 ( utterance ) 로부터 대응 되 는 텍스트 데이터 ( Text data ) 를 추출 하 는 단계 ( S 30 ) , 추출 된 상기 텍스트 데이터 에서 비 표현 단어 ( non - expressive words ) 를 필터링 ( Filtering ) 하 는 단계 ( S 40 ) 및 필터링 된 단어 를 임 베 딩 행렬 ( embedding matrix ) 로 변환 하 는 단계 ( S 50 ) 를 포함 할 수 있 다 . 또한 , 변환 된 상기 스펙트로그램 ( spectrogram ) 과 단어 임 베 딩 행렬 ( embedding matrix ) 을 TSRNN ( Temporal - Stream Recurrent Neural Network ) 에 공급 하 는 단계 ( S 60 ) 및 상기 TSRNN ( Temporal - Stream Recurrent Neural Network ) 을 이용 하 여 발화 ( utterance ) 의 감정 상태 를 예측 하 는 단계 ( S 70 ) 를 포함 할 수 있 다 .