異なるモダリティ(データ種別)を同時に生成することができるマルチモーダルAIモデルなんです。簡単に言ってしまえば、一言投げかければ画像と動画とBGMが一発で生成できるということ。いやいや、そんな都合のいいことができるわけない?本記事ではCoDiの導入方法からデータの生成まで細かく解説していますので、この記事を見ながら実際に試していただければ約1時間でCoDiのすごさを体験してもらえます。Diffusion)はMicrosoftが開発したマルチモーダルAIモデルです。Microsoftが進めていたi-Codeプロジェクトの一つで、その中の「i-Code-V3」がCoDiと呼ばれています。そんなCoDiの特徴は以下の3つです・マルチモーダルAIモデルCoDiと従来の生成AIモデルが違うところは同時に複数の異なるデータを出力できるという点です。画像系の生成AIだとテキストからイラストや画像を作りますが、CoDiはそれに加え、動画や音楽も一つのテキストから生成することができるのです。耳の不自由な人のためにビデオや画像のキャプションを生成することができたり、目の不自由な人のために、音声ガイドやテキストの要約を生成したりなど、体が不自由な人のためにアクセシビリティの向上に活用できます。教育現場では生徒が知っていることと、達成したいことに合わせて学習コンテンツを生成することも可能になります。・オープンソースソフトウェアCoDiはGitで公開されており、オープンソースソースソフトウェアとなっています。ライセンスはMITライセンスですので商用利用も可能です。※ライセンスに関しては2023年10月現在の情報となりますので、利用する際はその都度ご確認ください。CoDiを使ってみましょう!なお、その他のマルチモーダルAIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。ColabPro+でCoDiを試してみました。コードは以下のGithubページを参考にしています。3.10.12でも動作を確認しました。※2023年10月現在なお、無料版のColabだとシステムRAMが足りなくてクラッシュしてしまいますのでご注意ください。Gitからファイルのクローンまず、GitからCoDiのファイル一式をクローンします。https://github.com/microsoft/i-Code.gitファイル構成は下記のようになるはずです。次に、CoDiが格納されている「i-Code-V3」のディレクトリへ移動します。※初期値の/contentにいない場合は、pwdコマンドで現在のディレクトリを確認し移動を行ってください。i-Code/i-Code-V3/必要なパッケージのインストールi-Code-V3配下にあるrequirement.txtを読み込んで必要なパッケージのインストールを行います。requirement.txtインターフェースのダウンロード/checkpointsの中に必要なファイルをダウンロードします。Colab上ではスペックの都合上FP16でしか動作ができなかったので、fp16対応のインターフェースをwgetコマンドで落としてきます。checkpoints/モデルのロード下記コマンドを実行し、モデルをロードします。初期値では「fp16=False」となっていますが、今回はFP16を使用するので「fp16=True」に変更しています。inference_tester.eval()モデルのロードが終われば準備完了です!なお、メモリが足りないとこのモデルのロード時にクラッシュしてしまいます。ColabPro+プランでもそのままだとメモリが足りなくなってしまうので、ハイメモリに変更するのを忘れないようにしてください。モニタリングしていると、モデルのロード中にシステムRAMの使用量が約22GBまで上がっていました。ロードが終わるとシステムRAMが約13GB、GPURAMが約11GBという使用量になっています。RAMが上記以上の容量を搭載しているマシンを用意する必要がありそうです。CoDiを実際に使ってみたそれでは、CoDiを実際に使ってみます。テキスト、画像、音声を出力してみます。テキストから画像の生成まずはテキストから画像の生成を行ってみましょう。50)images[0][0]結果プロンプトの文章は日本語で「海辺では綺麗な花火が上がっている」というテキストをChatGPTに訳してもらったものを利用しました。いくつか再生成を行ったのですが、いずれも上に花火が上がっていて下に海もしくは浜辺が広がっている画像が生成されました。して日本語でもうまく機能するかもしれないと思い、試してみました。微妙な感じですね・・・。何度か生成した中で一番花火っぽい画像が上記です。「海」はうまく生成されるのですが「花火」が正常に認識しないようで海でなにかが爆発している画像が生成されるパターンがほとんどでした。画像からテキスト次に、画像からテキストを生成してみます。使用する画像は先ほどCoDiに作ってもらったこちらの花火の画像です。night'画像が明るいからか、sunset(日没・夕焼け)という単語が多く表れていますがbeachとfireworksという言葉も含まれるテキストがあり、概ね画像の説明としては成り立っているのではないでしょうか。次はオーディオファイルの生成能力を確かめてみましょう。プロンプトには「傘に当たる雨音」という日本語を英訳したものを入力しました。生成されたファイルにはサーッと雨音がなる中、傘に当たるような少し強い音も混じっておりプロンプトの通りの環境音が作り出されました。ChatGPTのGPT-4Vについて詳しく知りたい方は、下記の記事を合わせてご確認ください。→【GPT-4V】ChatGPTがマルチモーダル対応!何がすごいかを徹底解説CoDiの推しポイントである同時に複数の異なるデータを出力できるというのは本当なのか?それでは、CoDiの推しポイントである同時に複数の異なるデータを出力できるのは本当なのか、を検証していきます。一つのテキストから複数のファイルを生成してみましょう。公式のプロンプトを試してみます。format='png')結果プロンプトでは「美しい森の中を歩いていると、自然と鳥の音が広がっています。出力されたオーディオファイルは森の中の音と動物の声が、動画ファイルでは森を歩いている人の後ろ姿が映っていますね。短い一文からこの2つのファイルが生成されたのは驚きです!8フレームほどの動画ですが、生成時間は1分ほどでした。一つ、花火の動画とオーディオファイルを生成してみましょう。プロンプトは一番最初に作ったものと同じテキストを入力しました。format='png')結果オーディオファイルの方は「ザーーッ」という波音は収録されていましたが、花火の音はありませんでした。何度試してみても、花火の音は生成されず海のイメージに引っ張られている感じがしました。動画ファイルに関しては花火は描画されますが逆に海辺が描画されていませんでした。プロンプトを詳細に書くと精度の高いものが生成されるかもしれません。使ってみた感想、そして、推しポイントの結果をまとめます。概要CoDiはMicrosoftが開発したマルチモーダルAIモデルです。既存の生成AIとは違い、複数のモダリティを生成することができるうえ、入力の組み合わせに制限がありません。公式マニュアルではcondaを使い、ローカルでの環境構築を行っていましたがマシンスペックが非常に高いものが必要なためGoogleColabPro+で試すことをおすすめします。導入自体はマニュアル通りにインストールを進めるだけなので非常に簡単です。マニュアルが英語のみなのと導入事例やサンプルがほとんどなく手探りで試しながら進めていく必要があります。推しポイントを試した結果CoDiを使えば短いテキストからオーディオファイルとそれに合致した動画ファイルが短時間で生成されるので、本当に簡単でびっくりしました!例えば、今まで画像生成AIでイラストを作ってそれに合う音源を別の生成AIで作るもしくはどこからか素材を探して・・・といった作業が、CoDiを使えばワンクリックで作ることができます。情報が少ないところがデメリットではありますが、マルチモーダルAIモデルという先進的な技術が無料で試せるというのは大きなメリットです。CoDiを体験することができるという手軽さも大きなポイントですね。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。大学休学中は、Webマーケティング会社のマネージャーとしてライター、ディレクター100名のマネジメントをする。南米のチリとタイでの長期居住歴を持つ。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。