[ 테크 리포트 ] AI 와 만난 TTS , 목소리 까지 훔치 다 
 우리 도 모르 는 사이 에 지하철 이나 버스 에서 들리 는 안내 목소리 는 꽤 자연 스러워졌 다 . 처음 에 는 전문 성우 로부터 모든 안내 멘 트 를 녹음 해 방송 했 을 거 라고 착각 할 정도 였 다 . 그만큼 여기 에 쓰이 는 음성 합성 시스템 ( TTS ) 이 많 은 발전 을 거듭 해 온 것 이 다 . 빅 데이터 와 인공지능 ( AI ) 기술 이 결합 하 면서 TTS 도 새로운 단계 로 진입 했 다 . 기존 문자 를 목소리 로 바꾸 던 개념 에서 벗어나 사용 자 목소리 를 직접 학습 하 고 따라 하 는 형태 로 진화 하 고 있 다 . 
 ◇ 실생활 곳곳 에서 쓰이 는 TTS 
 TTS ( Text to Speech ) 는 본래 문자 로 정보 를 전달 하 기 어려운 상황 에서 사용 자 접근성 향상 을 위해 개발 됐 지만 현재 는 더 다양 한 목적 으로 활용 되 고 있 다 . 읽 기 에 비해 집중력 이 덜 요구 되 고 시선 을 독차지 하 지 않 는 까닭 이 다 . 현재 는 자동 응답 서비스 , 버스 ・ 지하철 안내 방송 을 비롯 해 책 ・ 인터넷 문서 읽 어 주 기 서비스 , 유튜브 녹음 , 음성 AI 등 다양 한 분야 에서 TTS 가 접목 되 고 있 다 . 살짝 티 나기 는 하지만 성우 더빙 을 대신 하 기 도 한다 . 시간 적 인 여유 가 많 다면 소리 를 통해 문법 상 어울리 지 않 는 문장 구조 파악 에 도 괜찮 다 . 단순 해도 사용법 은 저마다 별나 고 유용 한 셈 이 다 . 
 TTS 원리 는 사전 녹음 된 목소리 를 전용 엔진 이 단어 별 로 쪼개 재조합 하 고 사용 자 에게 들려주 는 것 으로 , 파형 접합 합성 ( UTS ) 법 이 라 불리 고 있 다 . 단순 조합 에 불과 해 인 조음 이 라는 사실 은 쉽 게 알 수 있 다 . 언어 마다 최적 화 된 엔진 이 다르 고 , 소비자 마다 선호 하 는 목소리 와 톤 이 다르 기 때문 에 현재 는 같 은 한국어 내 에서 도 다양 한 엔진 이 개발 돼 존재 하 고 있 다 . 
 TTS 엔진 은 보통 업무 효율 화 를 위해 기업 이나 기관 이 소비자 에게 제공 하 는 서비스 를 보조 하 는 역할 로 도입 돼 왔 다 . 최근 들어서 는 음성 인공지능 ( AI ) 개발 사 와 협업 도 긴밀 해 지 고 있 다 . 우리 가 AI 스피커 로 듣 는 음성 도 문자 응답 메시지 를 TTS 엔진 으로 음성 변환 한 것 이 다 . 그러나 이 는 AI 와 TTS 가 접목 한 아주 기본 적 인 예시 에 불과 하 다 . 
 ◇ AI 만난 TTS , 제대로 성대모사 
 TTS 는 AI 의사소통 수단 이 었 지만 2016 년 구글 딥 마인드 가 자사 TTS ' 웨이브 넷 ( WaveNets ) ' 을 온라인 논문 공유 집 아카이브 ( arXiv ) 를 통해 발표 하 면서 새로운 국면 을 맞 았 다 . 이 시기 를 기점 으로 AI 는 인간 목소리 를 제대로 흉내내 기 시작 했 다 . 웨이브 넷 은 녹음 된 단어 발음 을 이 어 붙이 는 기존 TTS 방식 과 달리 딥 러닝 기반 으로 작동 한다 . 녹음 된 발음 을 기초 로 학습 해 녹음 되 지 않 은 목소리 까지 스스로 예상 해 생성 하 는 것 이 다 . 당시 딥 마인드 는 자사 포스트 에서 “ 웨이브 넷 이 현존 하 는 최고 의 TTS 보다 더 자연 적 으로 들리 는 음성 을 생성 해 인간 과 의 차이 를 50 % 이상 줄일 수 있 다 ” 고 설명 했 다 . 
 처리 속도 도 빨랐 다 . 딥 마인드 는 당시 논문 에서 실제 사용 자 기기 에서 빠르 게 오디오 파일 이 생성 되 도록 많 은 노력 을 했 고 , 그 결과 1 초가량 음성 파일 생성 에 50 ㎳ 가 걸렸 다고 밝혔 다 . 
 딥 마인드 블로그 에 게재 된 목소리 샘플 또한 기존 TTS 와 딥 러닝 기반 TTS 와 차이 를 효과 적 으로 비교 했 다 . 얼핏 들으면 웅얼거리 는 목소리 도 똑같 아 실제 사람 목소리 로 착각 할 정도 다 . 이후 웨이브 넷 은 구글 머신 러닝 기반 AI ' 태 코트 론 2 ( Tacotron 2 ) ' 와 결합 하 며 더 완벽 한 인간 목소리 를 갖추 게 됐 다 . 
 태 코트 론 2 는 웨이브 넷 이 발표 된 이듬해 에 개발 됐 다 . AI 는 문장 부호 와 대문자 까지 포함 해 주 어 진 문장 맥락 을 이해 하 고 어떻게 발음 할지 예상 해 시각화 ( 스펙 토 그램 ) 하 는 능력 을 가졌 다 . 예상 되 는 소리 진폭 을 시간 흐름 에 따라 흑백 의 진하 기 로 표현 하 는 것 이 다 . 시각 화 된 가청 주파수 인 셈 이 다 . 이렇게 시각 화 된 정보 는 웨이브 넷 에 전달 돼 사람 의 목소리 로 발음 된다 . 
 구글 이 밝힌 태 코트 론 2 의 평균 발성 점수 ( MOS ) 는 4 . 53 점 이 었 다 . 이 는 웨이브 넷 자체 소리 점수 인 4 . 21 점 보다 높 고 , 실제 사람 목소리 4 . 58 점 에 거의 근접 한 수 치였 다 . 목소리 의 효과 적 인 디지털 화 로 사람 목소리 를 완벽히 따라 할 수준 에 이른 것 이 다 . 
 ◇ 박명수 와 유인나 를 지나 내 목소리 까지 
 구글 TTS 관련 기술 은 세계 개발자 에게 완벽 한 인간 목소리 를 AI 에 이식 할 수 있 는 중요 한 실마리 를 제공 했 다 . 국내 에서 도 산 ・ 학 ・ 연 다양 한 방면 에서 딥 러닝 기반 TTS 기술 을 연구 하 고 있 다 . 아직 구글 이나 바이두 와 같 은 업체 들 의 합성품 질 에 는 미치 지 못하 고 있 다는 평가 지만 지난해 부터 주목 할 만 한 사례 를 남기 고 있 다 . 
 KT 는 지난해 5 월 ' 박명수 를 이겨라 ' 퀴즈 게임 을 선보이 며 개인 화 음성 합성 기술 ( P - TTS ) 이 적용 된 개그맨 박명수 목소리 를 공개 했 다 . P - TTS 는 30 분 동안 300 개 견본 문장 녹음 만 으로 AI 가 발화 패턴 과 억양 을 학습 해 자연 스러운 목소리 를 구현 한다 . 구글 태 코트 론 2 와 같 은 원리 다 . 
 이후 KT 는 P - TTS 로 올해 3 월 에 지상파 3 ・ 1 절 특집 다큐멘터리 에 독립운동가 고 정재용 , 이갑성 선생 목소리 를 재현 했 고 , 지난 4 월 에 는 자사 화면 탑재 형 AI 스피커 ' 기 가지 니 테이블 tv ' 에서 ' 내 목소리 동화 ' 서비스 로 선보였 다 . 스마트폰 에 저장 된 목소리 를 기 가 지니 가 학습 해 부모 목소리 로 아이 에게 책 을 읽 어 주 는 것 이 다 . KT 관계자 는 “ P - TTS 는 KT 자체 연구 인력 만 으로 개발 했 다 ” 면서 “ 최소 녹음 데이터 량 , 음 성합 성 품질 , 데이터 전처리 등 에서 국내 최고 수준 기술 을 보유 하 고 있 다 ” 고 말 했 다 . 
 네이버 클로 바 nVoice 의 HDTS 는 딥 러닝 ( DNN ) 과 파형 접합 합성 ( UTS ) 을 결합 한 하이브리드 음성 합성 ( Hybrid Dnn Text - to - Speech ) 기술 로 지난해 7 월 발표 됐 다 . 이 기술 은 4 시간 녹음 만 으로 고품질 음성 합성 이 가능 하 다 . 이후 네이버 클로 바 는 배우 유인나 와 함께 HDTS 로 구현 한 목소리 를 만들 었 고 지난해 12 월 부터 유인나 목소리 를 제공 하 고 있 다 . 
 당시 김재민 네이버 서치 앤 클 로바 음성 합성 리더 는 “ 최소 40 시간 이상 녹음 시간 이 필요 한 UTS 기술 보다 한층 고도 화 된 기술 로써 글로벌 IT 기업 이 실제 서비스 에 활용 하 고 있 는 음성 합성 기술 대비 우수 성 을 갖췄 다 ” 고 말 했 다 . 상용 화 되 진 않 았 지만 SK 텔레콤 도 딥 러닝 기반 TTS 연구 를 계속 진행 해 왔 다 . 지난해 8 월 에 는 SK 텔레콤 20 주기 를 맞 아 최종현 선대 회장 을 홀로 그램 으로 구현 하 는 과정 에서 현재 개발 중 인 TTS 기술 로 목소리 를 복원 한 바 있 다 . SK 텔레콤 은 해당 기술 이 “ NUGU 서비스 일부 기능 에서 적용 되 고 있 다 ” 고 밝혔 다 . 
 ◇ 편하 자고 만든 기술 , 전과 7 범 사기 꾼 능가 
 딥 러닝 기반 TTS 는 어떤 목소리 견본 을 확보 하 느냐 에 따라 다양 한 목소리 를 낼 수 있 다 . 앞서 살핀 기존 TTS 활용 까지 고려 한다면 딥 러닝 기반 TTS 를 활용 한 서비스 와 활용 도 다양 하 게 나타날 것 으로 예상 되 고 있 다 . 전문 성우 가 하 는 일 도 단지 목소리 샘플 제공 에 그칠 수 도 있 다 . 
 그러나 이 기술 은 악용 될 소지 도 있 다 . 누군가 자신 이나 가족 목소리 를 AI 에 학습 시켜 보이스 피싱 에 동원 할 수 도 있 다 . 오바마 전 미국 대통령 과 메르켈 독일 총리 가 머신 러닝 기반 딥 페이크 기술 로 만든 가짜 동영상 으로 인해 곤욕 을 치른 사실 은 이미 유명 하 다 . 딥 페이크 와 발전 된 TTS 기술 이 결합 하 면 사회 를 전복 시킬 만큼 허구 가 진실 을 대체 할 위협 도 공상 만 은 아니 다 . 
 국내 도 이 사실 을 잘 알 고 있 다 . KT 는 실제로 악용 에 대비 해 내 목소리 동화 에서 제한 된 문장 만 합성 하 도록 AI 기능 을 설정 했 다 . 또 타인 이 활용 할 수 없 도록 목소리 를 등록 한 사람 이 지정 한 단말 에서 만 합성음 을 들 을 수 있 도록 했 다 . 
 특정 기능 에 맞춘 AI 능력 제한 외 에 근본 해결 방안 도 연구 되 고 있 다 . SK 텔레콤 은 “ 기술 적 으로 는 오디오 워터 마크 를 적용 해 목소리 데이터 보안 을 강화 할 수 있 다 ” 고 의견 을 냈 다 . 이 기술 은 현재 저작 권 식별 을 위해 쓰이 고 있 지만 다른 앱 에서 워터 마크 를 확인 해 변조 음 여부 를 판단 하 는 데 에 도 활용 할 수 있 다는 설명 이 다 .