Diffusionを用いてテキストから画像を生成(text2img)する方法をご紹介します。Diffusionは、拡散モデルによる画像合成モデルです。Imageタスクなどを実現します。Diffusionをベースとした本モデルは、非常に大規模なデータセットであるLAION-5Bを用いてトレーニングされています。Diffusionでは、AIの平等な使用機会を与えることを目的に学習済みモデルの公開に踏み切っています。DiffusionやGLIDEの技術解説やデモを紹介しています。よろしければご参照ください。技術解説までは、無料で参照可能です。Colaboratoryで実行していきます。Imageタスク、特定の範囲の画像を修復するInpaintingタスクは以下をご参照ください。Diffusionを用いてテキストと画像から新たな画像を生成するimg2imgを実行する方法をご紹介しています。Diffusionを用いて画像の特定の範囲をテキストに応じた画像に変更する画像修復を実行する方法をご紹介しています。Imageタスクを実行していきます。ソースコードは本記事にも記載していますが、下記のGitHubでも取得可能です。Colaboratoryで開くこともできます。このデモはPythonで実装しています。Pythonの実装に不安がある方、Pythonを使った機械学習について詳しく勉強したい方は、以下の書籍やオンライン講座などがおすすめです。本記事では、現役機械学習エンジニアとして働く筆者が実際に読んだ書籍の中でおすすめの書籍をレベル別に紹介しています。本記事では、機械学習エンジニアとして働く筆者が、AI・機械学習をまったく知らない方でも取り組みやすいおすすめのオンライン講座をご紹介しています。環境セットアップ初めにHuggingFaceのアカウントを作成します。HuggingFaceにアクセスし画面右上のSignUpよりアカウントを作成します。登録したメールアドレスに認証メールが届くのでメールに記載されたリンクにアクセスしてアカウント登録は完了です。Tokens]に移動しNewTokenを発行し、メモしておきます。Colaboratoryで行います。Colaboratoryでセットアップしていきます。Colaboratoryを開いたら下記を設定しGPUを使用するようにしてください。「ランタイムのタイプを変更」→「ハードウェアアクセラレータ」をGPUに変更まずライブラリをインストールします。accelerate最後にライブラリをインポートします。plt以上で環境セットアップは完了です。学習済みモデルのセットアップ続いて、先ほど発行したアクセストークンを使用して、モデルをダウンロードします。use_auth_token=access_tokens)model.to("cuda")TextToImageそれでは、promptを設定し画像を生成していきます。plt.show()出力結果は以下の通りです。葛飾北斎風の3頭の犬を生成してもらいましたが、promptに忠実な画像が生成されています。いくつか画像を生成させてみた結果は以下の通りです。写真、油絵など様々なタイプの画像が生成できました。Imageを行う方法をご紹介しました。高精度なモデルのため悪用厳禁であることは言うまでもありません。本記事では、機械学習を動かすことにフォーカスしてご紹介しました。学術的に体系立てて学びたいという方には以下の書籍などがお勧めです。16:25記事非常に助かっております。記事の通りに試しているのですがこのようなエラーが出ております。何か解決策はございますでしょうか。22:59ご覧いただきありがとうございます。transformersライブラリのアップデートに伴いモデルの出力形式が変更されたことによりエラーが発生しておりました。*このブログについてホームサイトマップTeDokologyTeDokology。