일 측면 에서 , 서버 장치 에서 음성 을 처리 하 는 방법 이 제공 된다 . 이 방법 은 , 서버 장치 에서 , 클라이언트 장치 로부터 시각 적 특징 텐서 의 세트 및 오디오 특징 텐서 의 세트 를 수신 하 는 단계 를 포함 하 고 , 시각 적 특징 텐서 는 클라이언트 장치 에 의해 캡 처 된 이미지 데이터 의 프레임 에 기초 해서 클라이언트 장치 의 시각 적 특징 추출기 에 의해 생성 되 고 , 이미지 데이터 의 프레임 은 클라이언트 장치 의 환경 을 특징지 으며 , 시각 적 특징 텐서 보다 큰 정보 컨텐츠 를 갖 고 , 예 를 들 어 , 시각 적 특징 텐서 는 이미지 데이터 의 프레임 의 압축 된 표현 을 제공 한다 . 오디오 특징 텐서 는 사용 자 의 발언 에 이어서 클라이언트 장치 에 의해 캡 처 된 대응 하 는 오디오 데이터 에 기초 해서 클라이언트 장치 의 오디오 특징 추출기 에 의해 생성 된다 . 이 방법 은 또한 , 서버 장치 에서 시각 적 특징 텐서 의 세트 및 오디오 특징 텐서 의 세트 를 입력 으로서 언어 모델 에 제공 하 는 단계 - 언어 모델 은 발언 을 분석 하 는 데 사용 할 수 있 는 언어 특징 의 세트 를 결정 하 도록 구성 되 고 , 시각 적 특징 추출기 및 오디오 특징 추출기 는 언어 모델 과 조인트 해서 구성 됨 - 와 , 언어 모델 의 출력 을 사용 해서 발언 을 분석 하 는 단계 를 포함 한다 . 이 방법 은 전술 한 측면 에서 설명 된 클라이언트 측 동작 에 응답 해서 서버 측 방법 으로서 수행 될 수 있 다 .