よる爆発音合成」が、ワークショップのスポンサーであったチームラボ株式会社から「チームラボ賞」を受賞しました。WISSは、日本ソフトウェア科学会のインタラクティブシステムとソフトウェア(ISS)研究会が毎年開催するワークショップです。CSCW、人工知能、ロボティクスなど、人間と計算機との様々なインタラクションの研究者が集い、インタラクティブシステムの構成原理/構成法、ソフトウェア技術について議論することを目的として研究発表を行う場です。今回受賞した研究は、細かなニュアンス表現も含めて口で発話した擬音語表現から、深層学習(俗に言うAI技術)を用いて効果音を合成する技術に関するものです。ここでは、自然言語処理や画像処理の深層学習技術として注目されているTransformerアーキテクチャを採用し、音響波形をメルスペクトログラム(画像)として学習する手法を用いています。その学習モデルを元に出力されるメルスペクトログラム画像を、ニューラルボコーダ技術で音響波形として合成します。今回は効果音の中でも爆発音に焦点をあて、1300種類以上の爆発音とそれに対応する擬音語音声を3500以上学習したものをデモとして発表しました。繰り返して発話・合成をしていくことで所望の効果音を得ていく使い方なども議論として述べました。チームラボ社による賞の選定理由は、その「人が発話する行為」と「AIによる生成」が共立する形で使える技術によるものでした。技術内容や発表ポスター、具体的な合成音、チームラボ社のコメントなどは、下記リンクをご覧ください。