Puppetryと呼ばれる機械学習手法を使って顔写真から3Dアバターを作成し、喋らせる方法を紹介します。Puppetryは、オーディオを起点とした顔のビデオ生成手法です。https://github.com/wuhaozhe/style_avatarこの技術によって、合成音声で生成したオーディオから特定の俳優が話す動画を生成することができます。こちらに公式のデモ動画がアップデートされています。使用ユースケースとしては、下記が挙げられています。肩から上の大写し映像の生成この技術は、現実の撮影なくあたかもその人が話したかのような動画を生成できます。悪用すれば悪質なFake動画を生成できてしまいます。このため、法律を遵守し、倫理観に反さない使用が求められます。Puppetryをセットアップしていきます。動作確認は下記の環境で行っています。1080なお、このデモはPythonで実装しています。Pythonの実装に不安がある方、Pythonを使った機械学習について詳しく勉強したい方は、以下の書籍やオンライン講座などがおすすめです。本記事では、現役機械学習エンジニアとして働く筆者が実際に読んだ書籍の中でおすすめの書籍をレベル別に紹介しています。本記事では、機械学習エンジニアとして働く筆者が、AI・機械学習をまったく知らない方でも取り組みやすいおすすめのオンライン講座をご紹介しています。Puppetryをインストールしていきます。他の機械学習環境に影響を与えないためにMinicondaの仮想環境上に構築していきます。Minicondaのインストール手順は公式ドキュメントをご参照ください。1.14.0を使用しています。kitは10.0である必要があります。conda-forge続いてモデルをダウンロードしていきます。以上で、セットアップは完了です。入力データには、顔写真と音声データが必要です。本記事では、ロイヤリティフリーの下記の画像とナレーション音声を利用させて頂きます。output/上記のコマンドで--output_pathに--in_imgに指定した顔写真が--in_audioの音声を話す動画が出力されます。1枚の画像だけで音声に合わせて動くアバターを生成するとはなかなか脅威的です。便利な一方、正しい使い方が求められますね。Puppetryで一枚の画像から音声に合わせて話すアバターを生成する方法を紹介しました。このような技術はDeepFakeに代表されるように、耳目を集める技術一方で、誤った使い方をして逮捕者が出ている技術でもあります。技術に罪がある訳ではなく、技術を使う人に悪意があることが原因だと思います。是非人の役に使い方をお願い致します。本記事では、機械学習を動かすことにフォーカスしてご紹介しました。学術的に体系立てて学びたいという方には以下の書籍などがお勧めです。*このブログについてホームサイトマップTeDokologyTeDokology。