블록 ( 1210 내지 1220 ) 은 트레이닝 장치 ( 1202 ) 에서 수행 되 며 도 10 의 동작 과 유사 하 다 . 블록 ( 1210 ) 에서 , 오디오 특징 추출기 및 시각 적 특징 추출기 는 언어 모델 에 통신 가능 하 게 연결 된다 . 이것 은 , 메모리 에 로딩 되 고 하나 이상 의 프로세서 에서 실행 되 는 컴퓨터 프로그램 코드 내 에 정의 된 모델 클래스 를 로딩 하 고 인 스턴스 화 하 는 것 을 포함 할 수 있 다 . 한 경우 에 , 이것 은 오디오 특징 추출기 및 시각 적 특징 추출기 의 출력 과 언어 모델 의 대응 하 는 입력 사이 의 연결 을 정의 하 는 것 을 포함 할 수 있 다 . 연결 은 컴퓨터 프로그램 코드 에 및 / 또는 그래픽 개발 환경 을 통해 정의 될 수 있 다 . 블록 1215 에서 , 트레이닝 데이터 가 획득 된다 . 이것 은 , 데이터베이스 또는 하나 이상 의 컴퓨터 파일 로부터 트레이닝 데이터 의 하나 이상 의 배치 ( batch ) 를 로딩 하 는 것 을 포함 할 수 있 다 . 트레이닝 데이터 는 오디오 특징 추출기 및 시각 적 특징 추출기 에 대한 입력 및 언어 모델 에 대한 대응 하 는 정답 출력 을 포함 한다 . 트레이닝 데이터 는 ( audio _ samples , video _ frames , text _ output ) 또는 ( audio _ samples , video _ frames , phoneme _ output ) 으로 구성 된 3 가지 를 포함 할 수 있 다 . 트레이닝 데이터 는 그대로 사용 될 수 도 있 고 혹은 전처리 될 수 도 있 다 . 예 를 들 어 , 텍스트 또는 음소 출력 은 음소 , 문자 또는 단어 와 같 은 , 심볼 의 시퀀스 로 분할 될 수 있 다 . 오디오 샘플 이 원시 오디오 데이터 를 포함 하 는 경우 , 이 들 은 클라이언트 장치 에서 오디오 특징 추출기 를 적용 하 기 전 에 , 프로덕션 오디오 처리 파이프 라인 에 따라 전처리 될 수 있 다 . 유사 하 게 , 비디오 프레임 이 원시 이미지 데이터 를 포함 하 는 경우 , 이 들 은 클라이언트 장치 에서 시각 적 특징 추출기 를 적용 하 기 전 에 , 프로덕션 이미지 처리 파이프 라인 에 따라 전처리 될 수 있 다 .