ソースからはじめにImage2Image技術は、入力画像を基に新しい画像を生成するプロセスです。拡散モデル(ディフュージョンモデル)が主に使用され、ノイズを除去して画像を生成します。CLIP技術は、テキストと画像の類似度を計算し、画像生成に役立ちます。Diffusionは、CLIPと拡散モデルを組み合わせた技術です。この技術は、テキストエンコーダーを使用してプロンプトをベクトルに変換し、画像生成に利用します。[1]拡散モデルは、ノイズを付加した画像から元の画像を復元する技術です。2020年に提案され、現在の画像生成モデルで広く使用されています。ノイズ除去にはU-netというモデルが使われています。前向き過程でノイズを加え、逆向き過程でノイズを除去します。ノイズ除去のプロセスを学習し、画像を生成します。[1]CLIPは、OpenAIによって2021年に公開された技術です。画像とテキストの類似度を計算するマルチモーダルなモデルです。約4億組の画像とテキストのペアを使用して学習されています。Diffusionで使用されています。ゼロショット学習が可能で、未知のデータセットにも対応できます。Diffusionは、CLIPと拡散モデルを組み合わせた技術です。テキストエンコーダーを使用してプロンプトをベクトルに変換します。ランダムなノイズから画像を生成し、ノイズ除去を行います。同じプロンプトでも異なる画像が生成されることがあります。seed値を指定することで、乱数を固定し、同じ画像を生成できます。[1]元の画像にノイズを加える前向き過程を行います。ノイズ除去のためのニューラルネットワークを学習します。U-netを使用してノイズを除去します。ノイズを乗せた画像から元の画像を復元する問題を解きます。膨大なデータで学習を行い、特徴を抽出します。利用フェーズランダムなノイズから画像生成を開始します。テキストエンコーダーからのデータを基にノイズを除去します。学習フェーズで得た知識を活用して画像を生成します。プロンプトに基づいて所望の画像を生成します。seed値を指定することで、同じ画像を再現可能です。