22.04概要いまは、一枚の画像から深度を推定する技術が進歩し、立体視化もそれほど違和感のないレベルに達しています。画像生成モデルだけでも、あるていどの動画生成は可能になっています。ここでは、キャラの動画を立体視できるようにして、VR/MR(パススルー)で対面してみます。動画生成(AnimateDiff)・https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved文章(プロンプト)から生成される画像を、さらに動画化します。物体検出(Rembg/U2-Net)[※1]・https://github.com/cubiq/ComfyUI_essentials[※2]・https://github.com/Jcd1230/rembg-comfyui-node[※3]動画のフレーム(画像)群から物体(キャラ)を検出し、背景と切り離しますーーこれで、目的の対象だけを表示できるようになります。Preprocessors/MiDaS)[※4]・https://github.com/Fannovel16/comfyui_controlnet_aux動画のフレーム(画像)群から奥行きを推定し、深度マップ群を作ります。対象を立体視できるようになります。使うコードの総称です。※2このカスタムノードは、バッチ処理に対応し、アニメ調を検出できるモデルも使うことができます。パッケージの構成は、物体検出のノード以外にもさまざまなノードがふくまれたものです(アプリ本体の構成によっては、依存関係に問題が出るかもしれません)。※3このカスタムノードは、バッチ処理に対応しておらず、アニメ調を検出できるモデルも使えません。使い、一定の深さの箇所(背景)を黒の画像と合成する、といったやり方があるかも)。使うと、より精度の高い深度マップが生成されるはずです:・https://github.com/kijai/ComfyUI-Marigold・https://huggingface.co/toyxyz/Line2Depth_sd1.5※5このカスタムノードは、バッチ処理に対応していません。通常版......作成がノンストップでない代わりに、設置はノーマルになります※1ステレオグラムのカスタムノードがバッチ処理に対応していないので、これを修正したものを使いますーーこれですべての処理を、ワークフロー上で完結させることができます。※この手順は、設置がノーマルでない代わりに、作成はノンストップになります。※この手順は、設置がノーマルでない代わりに、作成はノンストップになります。形式)がノード上に生成されますーーこのノードから、ファイルをローカルに保存します。※この手順は、作成がノンストップでない代わりに、設置はノーマルになります。※この手順は、作成がノンストップでない代わりに、設置はノーマルになります。ノードは無効にしておいた方がいいかもしれません。)で確認しつつ、プロンプトやシードを決めていきます。ノードを有効にします。使って、動画のフレーム群をステレオグラムのフレーム群に変換します。あつかえる)通常の画像のマスクに変換します)。このワークフローを、フレームの枚数分だけ繰り返すよう、スクリプトを作成します。List”を使っても、たんにテンソルをリストに変換するだけでしょうし......:・https://github.com/ltdrdata/ComfyUI-Impact-Pack※2このステレオグラムは、平行法でみることができますーー連続した画像でも、統一した立体感が与えられていることを確認できると思います(統一感はあるものの、右足の遠近感が微妙ですね......ただこの生成画像だとこうするしかなさそうで、深度推定はがんばってると思います)。transparency※1動画の上下がはみ出すときは、ディスプレの向きの設定を縦にするなどし、表示できる領域を確保します。目の前にいるキャラは、奥行きがあり動いてもいるので、じっさいにその場にいるように感じられますーーこれがたった数文字のプロンプトから生まれた存在だと考えると、感慨深いものがありますね。[※1][※2]※1いまのところただの動画なので、触れてもスカスカな状態ですーーただ深度マップはもっているので、HMDの深度センサと組み合わせれば、<触れる>感触を得ることも可能ですーーこれがリアルタイムに生成できるようになれば、インタラクティブ性をもたせることもできるでしょうし、物理演算をふくめた多彩な反応が得られそうです。※2もちろんその数文字のプロンプトの背後には、膨大な数の創作者(絵画〜写真)の熱意と努力の成果がありますーー生成モデルの普及で、それらの利用のしかたが、<個別の作品を鑑賞・体験する>というかたちから、<作品の集合を融合・体験する>というかたちに変わってきていますーー問題のひとつは、もともとあった<出典>(作家と作品など)という構造が、フラットになってしまっている、という点です。ここをどう解決していくかが、技術側の課題といえそうです。