도 10 은 일례 에 따른 음성 을 처리 하 는 시스템 을 구성 하 는 방법 ( 1000 ) 을 도시 한다 . 블록 ( 1010 ) 에서 , 이 방법 은 오디오 특징 추출기 와 시각 적 특징 추출기 를 언어 모델 에 통신 가능 하 게 연결 해서 오디오 특징 모델 을 얻 는 단계 를 포함 한다 . 예 를 들 어 , 이것 은 도 7 에 도시 된 엔드 - 투 - 엔드 시스템 을 구성 하 는 단계 를 포함 할 수 있 다 . 도 7 에 도시 된 바 와 같이 , 오디오 특징 추출기 와 시각 적 특징 추출기 및 언어 모델 은 각각 의 모델 파라미터 의 세트 , 예 를 들 어 가중치 세트 및 바이어스 에 의해 파라미터 화 될 수 있 다 . 블록 1020 에서 , 이 방법 은 시간 적 으로 상관 된 오디오 데이터 와 이미지 데이터 및 정답 언어 특징 을 포함 하 는 트레이닝 데이터 를 획득 하 는 단계 를 포함 한다 . 이 경우 , 시간 적 으로 상관 된다는 것 은 오디오 데이터 및 이미지 데이터 가 모두 사용 자 발언 의 주어진 시간 윈도우 내 에서 캡 처 된 것 일 수 있 다 . 특정 한 경우 에 , 이미지 데이터 및 오디오 데이터 는 총괄 적 으로 비디오 데이터 를 포함 할 수 있 으며 , 여기 서 오디오 데이터 는 비디오 데이터 에 대한 하나 이상 의 오디오 채널 을 형성 한다 . 정답 언어 특징 은 하나 이상 의 음소 , 문자 , 단어 부분 및 단어 의 시퀀스 를 포함 할 수 있 다 . 한 경우 에 , 정답 언어 특징 은 발언 의 텍스트 표기 의 형태 로 제공 될 수 있 다 . 블록 1030 에서 , 방법 은 , 각각 의 모델 파라미터 세트 에 대한 트레이닝 된 값 을 결정 하 기 위해 트레이닝 데이터 를 사용 해서 오디오 특징 추출기 와 시각 적 특징 추출기 및 언어 모델 을 조인트 해서 구성 하 는 단계 를 포함 하 며 , 이 는 음성 인식 모델 을 통해 언어 모델 의 에러 를 역 전파 하 는 ( back propagating ) 것 을 포함 한다 . 이것 은 도 7 에 도시 된 프로세스 를 수행 하 는 것 을 포함 할 수 있 다 . 블록 ( 1030 ) 은 손실 기능 을 정의 하 고 신경망 기능 의 라이브러리 에 제공 되 는 트레이닝 루틴 을 구현 하 는 것 을 포함 할 수 있 다 .