체를 제대로 알아듣지 못했던 이유다. 이런 구어체를 AI가 이해할 수 있는 기술이 국내 연구진에 의해 개발됐다. 한국전자통신연구원 ( ETRI ) 은 문어체를 넘어 구어체 대화까지 분석할 수 있는 API를 개발해 공개했다고 6일 밝혔다. API는 누구나 응용프로그램을 개발할 수 있도록 공개된 인터페이스다. 자주 쓰이는 사투리들도 일부 알아들을 수 있다. ETRI가 자체 개발한 언어 AI ‘ 엑소브레인 ’ ( Exobrain ) 은 이미 상용화가 돼 한컴오피스 2020 등에 쓰이고 있다. 연구진은 기존 문어체 분석 기술에 구어체까
“ 나 경상돈데 ” 인공지능 ( AI ) 은 이 말을 알아들을 수 있을까. ‘ 경상돈데 ’ 는 ‘ 경상도인데 ’ 의 구어체다. ‘ 경상도 + 인데 ’ 라는 축약 표현의 메커니즘을 알아야 이해할 수 있다. 글자를 물리적으로만 해석해 ‘ 경상돈 + 데 ’ 로 인식해버리면 ‘ 경산돈 ’ 이라는 단어가 없기 때문에 오류가 생길 수 있다. 그동안 AI가 구어체를 제대로 알아듣지 못했던 이유다. 이런 구어체를 AI가 이해할 수 있는 기술이 국내 연구진에 의해 개발됐다. 한국전자통신연구원 ( ETRI ) 은 문어체를 넘어 구어체 대화
있다. ETRI가 자체 개발한 언어 AI ‘ 엑소브레인 ’ ( Exobrain ) 은 이미 상용화가 돼 한컴오피스 2020 등에 쓰이고 있다. 연구진은 기존 문어체 분석 기술에 구어체까지 학습하도록 해 사람의 대화를 분석할 때 나타나는 오류를 최대 41 % 까지 줄였다. 앞서 엑소브레인은 2016년 EBS ‘ 장학퀴즈 ’ 에 출연해 인간 참가자들을 제치고 우승을 차지했다. 고유명사 이해하고, 사투리 알아듣는 AI여기에는 한국어 의미의 최소 단위를 분석하는 ‘ 형태소 분석 기술 ’ 과 ‘ 개체명 인식 기술 ’ 이 적용됐다. 개체명 인식 기술은 문장 내 고유
다. 고유명사 이해하고, 사투리 알아듣는 AI여기에는 한국어 의미의 최소 단위를 분석하는 ‘ 형태소 분석 기술 ’ 과 ‘ 개체명 인식 기술 ’ 이 적용됐다. 개체명 인식 기술은 문장 내 고유 대상과 그 의미를 인식하는 기술이다. 예를 들어 ‘ 국민은행 ’ 이라는 단어가 명사 ‘ 국민 ’ 과 ‘ 은행 ’ 의 결합이 아닌 은행의 고유 명칭이라는 점을 인식하는 기술이다. 형태소 분석은 한국어 의미의 최소 단위를 분석하는 기술로, 한국어 처리에 있어 필수 기술이다. ‘ 경상돈데 ’ 를 이해하는 것도 이 기술이 적용됐을 때 가능하다. 그동안 구어체 언어
분석은 한국어 의미의 최소 단위를 분석하는 기술로, 한국어 처리에 있어 필수 기술이다. ‘ 경상돈데 ’ 를 이해하는 것도 이 기술이 적용됐을 때 가능하다. 그동안 구어체 언어 분석 기술을 개발하는 데 있어 큰 걸림돌은 학습 데이터가 부족하다는 점이었다. 기계학습 및 딥러닝 기술은 대규모 학습데이터를 필요로 하는 데, 구어체 분야는 데이터 확보조차 어려운 게 현실이다. 실제 개체명 인식 학습데이터의 경우 문어체는 약 27만 건이지만 구어체는 10분의 1 수준인 2만5000건 그친다. 연구팀은 ‘ 전이학습 ’
확보조차 어려운 게 현실이다. 실제 개체명 인식 학습데이터의 경우 문어체는 약 27만 건이지만 구어체는 10분의 1 수준인 2만5000건 그친다. 연구팀은 ‘ 전이학습 ’ ( transfer learning ) 과 ‘ 데이터 증강 ’ ( data augmentation ) 기법을 활용해 데이터 부족의 한계를 극복했다. 이미 존재하는 다른 분야의 학습 모델과 소량의 학습 데이터를 재사용하는 방식이다.
한국전자통신연구원(ETRI)은 문어체를 넘어 구어체 대화까지 분석할 수 있는 API를 개발해 공개했다고 6일 밝혔다. 이런 구어체를 AI가 이해할 수 있는 기술이 국내 연구진에 의해 개발됐다. 자주 쓰이는 사투리들도 일부 알아들을 수 있다. ETRI가 자체 개발한 언어 AI ‘엑소브레인’(Exobrain)은 이미 상용화가 돼 한컴오피스 2020 등에 쓰이고 있다.