DiffusionでLoRAの追加学習を行う際に使用できるデータセットと、パラメータ設定による学習結果の違いについて解説します。LoRAで追加学習を行うためには、学習させたいキャラクターや衣装が描かれている画像を少なくとも20枚程度用意する必要があります。一般に公開されているアニメのキャラクターや芸能人の画像などは著作権の問題から使用することができないため、学習用のデータセットを用意するのに苦労します。そこで、まずLoRAで学習する手順をマスターしたいと思っている方に最適なデータセットを紹介します。今回、紹介するSSS合同会社が公開している東北ずん子というキャラクターは非商用であれば無料で利用でき、LoRA追加学習用にキャプションファイルまでセットで公開されています。東北ずん子のキャラクターは非商用では無料で使用でき、LoRA学習用のキャプションファイルを含むデータが用意されている。LoRA初心者の方でも、データセットの作成に苦労することなくすぐに試すことができますので、ぜひ活用してみてください。Diffusionに関する記事を以下のページでまとめていますので、あわせてご覧ください。Diffusionの導入方法から応用テクニックまでを動画を使って習得する方法についても以下のページで紹介しています。Diffusion(ステーブル・ディフュージョン)は2022年8月に無償公開された描画AIです。ユーザーがテキストでキーワードを指定することで、それに応じた画像が自動生成される仕組みとなっています。Diffusionをインストールし、ローカル環境で実行することも可能です。Diffusionをブラウザから利用するためのWebアプリケーションです。Diffusionで画像生成を行うことが可能になります。UIであるAUTOMATIC1111を実行する環境は、ローカル環境(自宅のゲーミングPCなど)を使用するか、クラウドコンピューティングサービスを利用する2通りの方法があります。以下の記事ではそれぞれの環境構築方法について詳し解説していますので、合わせてご覧ください。UIであるAUTOMATIC1111の使い方について解説します。Diffusionモデルを20枚程度の画像を用いて追加学習させることにより微調整することができる仕組みです。LoRAを用いることにより、キャラクターや服装などの特徴を固定して画像生成することが可能になります。LoRAの詳細については以下の記事で解説していますので、あわせてご覧ください。sd-scriptsLoRAで追加学習を行うためにはsd-scriptsというツールが必要となります。ツールの導入方法について、以下の記事で解説しています。今回はLoRAの学習環境であるsd-scriptsのセットアップ方法について解説します。追加学習を行い、LoRAファイルを作成する手順を、以下の記事で解説しています。手順は多いけど1つずつ説明通りにこなしていけば簡単だよ。Amazon調べ)口コミを見るAmazon\楽天ポイント4倍セール!/楽天市場Yahooショッピングメルカリポチップ東北ずん子とは東北ずん子は、東北企業が無償で商用利用できるキャラクターです。声優の佐藤聡美さんが声を担当しており、17歳の高校生という設定です。趣味はずんだ餅作りやずんだ餡を利用した創作料理作りで、そのキャラクター性が反映されています。このキャラクターは、東北企業であれば無料で商用利用が可能で、クリエイターは非商用であれば無料で利用できます。そのため、東北地方の自治体や公共団体でも、イベントやふるさと納税、広報などの目的で利用されています。東北ずん子関連の公式グッズは、公式ウェブサイトのショップで取り扱われています。3Dモデルや音声素材なども提供されており、これらも商用利用が可能です。公式サイトは以下となります。東北ずん子・ずんだもんは東北企業であればイラストを無償で商用利用出来るキャラクターです。先ほど紹介した東北ずん子の公式サイトにアクセスします。以下のトップページが表示されますので、下方向にスクロールします。東北ずん子のプロフィールが表示されたら、東北ずん子の画像素材をクリックします。素材ページが開いたら、下方向にスクロールします。画像学習用のデータをダウンロードをクリックします。Driveが開きますので、01_LoRA学習用データA氏提供版背景白を右クリックします。メニューのダウンロードをクリックします。Amazon調べ)口コミを見るAmazon\楽天ポイント4倍セール!/楽天市場Yahooショッピングメルカリポチップ東北ずん子のデータセット先ほどダウンロードしたファイルを解凍すると以下のようなファイルが展開されます。以下のように61枚の画像ファイルに連番で名前が付けられており、そのままLoRAで学習することができる状態になっています。画像とセットでLoRAの学習時に必要となるキャプションファイルまで用意されています。(1).txtを開いてみます。先頭にはトリガーワードになるzunkoが定義されています。キャプションファイルには髪とひと瞳の色などの情報がが含まれていないため、それらの特徴がトリガーワードのzunkoに関連付けられていることがわかります。家にゲーミングPCないし、環境のセットアップ方法を調べるのが面倒なん...LoRAで追加学習を行う手順LoRAで追加学習を行う手順は以下の記事で解説していますので、参考にしてください。ディレクトリ構造もこちらの記事の内容をもとに説明します。手順は多いけど1つずつ説明通りにこなしていけば簡単だよ。Diffusionで、LoRAによる学習を実行...先ほどダウンロードした東北ずん子のファイルをそのまま学習用画像を格納するreference_imageのフォルダにコピーします。datasetconfig.toml今回は以下のようにPaperspaceのディレクトリにアップロードしました。ファイルを一切加工することなく即LoRAの学習に使用できます。LoRA追加学習に使用した環境LoRAの追加学習では膨大な量の計算を行う必要があるため、高速なGPUが必要となります。P5000というグラフィックアクセラレータを使用して、学習時間を計測します。TFLOPSの性能を出す高性能GPUです。繰り返し:2、エポック数:3パラメータの設定datasetconfig.tomlの設定datasetconfig.tomlで定義している繰り返し回数num_repeatsを2に変更します。launchコマンドのパラメータとして設定するエポック数max_train_epochsを3に変更します。学習結果が以下となります。366となり、学習時間は08:13かかりました。LoRAを使って生成した画像こちらがLoRAを使って生成された画像です。ステップ数が少なく学習が弱いので、ベースモデルのbreakdomain_M2000のタッチが強いイラストとなっていますが、ずん子さんの瞳や髪の色、髪飾りが描かれています。繰り返し:10、エポック数:10パラメータの設定datasetconfig.tomlの設定datasetconfig.tomlで定義している繰り返し回数num_repeatsを10に変更します。launchコマンドのパラメータとして設定するエポック数max_train_epochsを10に変更します。学習結果が以下となります。6100となり、学習時間は2:17:26かかりました。LoRAを使って生成した画像こちらがLoRAを使って生成された画像です。学習のステップ数をかなり増やしたため、学習に使用した画像のずん子さんがほぼそのまま描かれているようなイラストになりました。学習用画像のキャラクターや人物を再現したい場合には、ステップ数を増やすことが有効であることが確認できました。Diffusionを使ってみたいけど、ネットで調べた情報を試してもうまくいかない...猫のエンジニアそんな時は、操作方法の説明が動画で見られるUdemyがおすすめだよ!動画学習プラットフォームUdemyでは、画像生成AIで高品質なイラストを生成する方法や、AIの内部で使われているアルゴリズムについて学べる講座が用意されています。Udemyは講座単体で購入できるため安価で(セール時1500円くらいから購入できます)、PCが無くてもスマホでいつでもどこでも手軽に学習できます。Diffusionに特化し、クラウドコンピューティングサービスPaperspaceでの環境構築方法から、モデルのマージ方法、ControlNetを使った構図のコントロールなど、中級者以上のレベルを目指したい方に最適な講座です。画像生成AIの仕組みを学ぶ画像生成AIの仕組みについて学びたい方には、以下の講座がおすすめです。画像生成AIで使用される変分オートエンコーダやGANのアーキテクチャを理解することで、よりクオリティの高いイラストを生成することができます。DiffusionでLoRAの追加学習を行う際に使用できるデータセットと、パラメータ設定による学習結果の違いについて解説しました。東北ずん子のデータセットを使うと、ファイルを学習用データのディレクトリにコピーするだけで、即LoRAの追加学習を実行できます。学習をステップを6000まで増やすことで学習させたキャラクターを忠実に再現することができました。LoRAを使う際の参考にしてみてください。以下の記事で効率的にPythonのプログラミングスキルを学べるプログラミングスクールの選び方について解説しています。最近ではほとんどのスクールがオンラインで授業を受けられるようになり、仕事をしながらでも自宅で自分のペースで学習できるようになりました。スキルアップや副業にぜひ活用してみてください。自分のキャリアアップに必要なカリキュラムがあるプログラミングスクールを探したいん...スクールではなく、自分でPythonを習得したい方には、いつでもどこでも学べる動画学習プラットフォームのUdemyがおすすめです。講座単位で購入できるため、スクールに比べ非常に安価(セール時1200円程度~)に学ぶことができます。私も受講しているおすすめの講座を以下の記事でまとめていますので、ぜひ参考にしてみてください。こんな悩みを解決します。Ud...それでは、また次の記事でお会いしましょう。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。ExampleMurasan(むらさん)制御系エンジニアです。Piなどのマイコンボードを使ってアプリケーションを開発しています。好きなガジェットについても紹介していきたいと思います。トップページの画像はStableDiffusionというAIによって生成されたイラストです。