Flow」が誕生!従来の動画生成モデルとは異なる技術を使うことにより、計算量を削減しつつ、高品質の動画を生成することが可能になりました。Flowは、2つのピラミッド構造を採用することで、Gen3-Alphaモデルを超える高品質な動画生成が可能です。Flowの基本的な使い方から従来の動画生成AIとの比較まで行っていきます。Flowはビデオ生成を効率化する空間ピラミッドと時間ピラミッドの2つのピラミッド表現を採用することで、効率的にビデオ生成ができます。空間ピラミッドは、生成過程の初期段階では低解像度で処理することで計算量を削減し、最終段階のみで高解像度で処理することで、計算効率を向上させています。時間ピラミッドは、ビデオの過去のフレームを低解像度で圧縮することで、計算量とメモリのオーバーヘッドを削減。実験では、提案手法が、VBenchとEvalCrafterという2つのベンチマークで、公開されている他のビデオ生成モデルよりも優れていることを示しています。人間による評価でも、提案手法が、他のモデルよりも高い画質と動きの滑らかさを持っていることが示されています。v1.1、1.2、Pika1.0を比較しているものです。評価項目は美的品質(Aesthetic)モーション(Motion)セマンティック(Semantic)になっています。美的品質は生成されたビデオの見た目や視覚的な魅力を評価する指標で、ビデオの生成結果が人間の視覚的な感覚に心地よく映るか、映画やアートのように美しいかどうかを評価します。自然の風景や都市の夜景など、リアルで印象的なビジュアルを生成できるかが重要です。モーションは、ビデオ内の動きがどれだけ自然で滑らかに表現されているかを評価する指標で、モーションの滑らかさや正確さは、特に動きが多いシーンやアクションを含むビデオで重要。この指標は、動きのリアリズムや、視覚的に違和感のない滑らかな表現ができているかどうかを評価します。セマンティックは、生成されたビデオの内容が意味的に整合しているか、テキストやプロンプトに対して正しく対応しているかを評価します。「夕焼けの海辺で犬が走る」というテキストプロンプトが与えられた場合、そのビデオが実際に夕焼けの背景と犬の動きを正確に再現しているかが評価されます。意味的に一致していないと、たとえば夕焼けではなく昼間のシーンが生成されたり、犬ではなく猫が出てきたりすることがあります。Flowの効率性ピラミッドフローマッチングを用いたビデオ生成モデルは、従来の手法と比較して、トレーニングの効率性が大幅に向上しています。空間的複雑性:ビデオ生成における大きな課題の一つに、空間的複雑性があります。従来の拡散モデルは、生成過程全体を通してフル解像度で動作するため、ノイズの多い初期段階でも多くの計算リソースを消費していました。ピラミッドフローマッチングでは、生成過程を解像度の異なる複数のピラミッド段階に再解釈することで、この問題に対処。最終段階のみがフル解像度で動作し、初期段階では圧縮された低解像度の表現が使用されるため、計算コストが大幅に削減されます。時間的複雑性:ビデオの長さによってもたらされる時間的複雑性も、もう一つの課題。従来のフルシーケンス拡散法では、すべてのビデオフレームを同時に生成するため、固定長の生成しかできませんでした。自己回帰的なビデオ生成パラダイムは、推論時に柔軟な長さの生成をサポートしますが、フル解像度の長い計算の複雑さがトレーニングのボトルネックでした。ピラミッドフローマッチングでは、時間的ピラミッド設計を採用し、履歴条件として、段階的に圧縮された低解像度の履歴を使用することで、この問題を解決。これにより、トレーニングに必要なトークン数が大幅に削減され、トレーニング効率が向上します。GPU時間でトレーニングが可能。H100時間を要する)など、従来のモデルと比較して、大幅な効率向上と言えるでしょう。Flowのメリットピラミッドフローマッチングは、ビデオ生成モデルにおいて、トレーニング効率の向上と高品質なビデオ生成を両立させることができるという点で、多くのメリットがあります。空間ピラミッド:フレーム内の解像度を段階的に変化させる空間ピラミッドを利用することで、生成の初期段階では低解像度で処理を行い、最終段階のみフル解像度で処理を行います。これにより、従来のフル解像度処理と比べて、計算コストを大幅に削減できます。参考:https://arxiv.org/pdf/2410.05954時間ピラミッド:過去のフレームの情報を利用する際に、解像度を段階的に下げた時間ピラミッドを用いることで、自己回帰モデルのトレーニングに必要なトークン数を大幅に削減。参考:https://arxiv.org/pdf/2410.05954これらのピラミッド構造により、計算リソースとトレーニング時間の両方を大幅に削減。(DiT)で統合し、エンドツーエンドで最適化。これは、従来のCascadeモデルのように、解像度ごとに別々のモデルをトレーニングする必要がないことを意味します。知識共有の促進:単一モデルで学習することで、異なるピラミッド段階間での知識共有が促進され、モデル全体の性能向上が期待できます。実装の簡素化とスケーラビリティの向上:エンドツーエンドのトレーニングは、実装を簡素化し、より大きなデータセットやモデルへのスケールアップを容易にします。FlowはMITライセンスです。:https://github.com/jy0205/Pyramid-Flow/blob/main/LICENSEなお、1024×1024の10秒動画を生成できる動画生成AIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。WEELメディア事業部LLMライターのゆうやです。Planは、OpenAIによって開発されたテキストからビデオへの変換モデル「Sora」の再現を目指すプロジェクトです。local_dir_use_symlinks=False)モデルをダウンロードする際、モデルを保存するディレクトリが必要になります。上記の場合、/contentに新たなフォルダを作成して、そちらにモデルを保存するようにしています。この時にカレントディレクトリが移動してしまっているので、Pyramid-flowに移動し直す必要があります。Faceのサンプル設定だとメモリ不足になるため、解像度とステップ数を調整しています。フレーム間の動きのダイナミクスを調整。高い値でダイナミックな動き、低い値で滑らかな動きに。ビデオ生成に必要な推論ステップ数。生成のランダム性を制御します。高い値でクリエイティブな結果、低い値で安定した結果に参考:https://github.com/jy0205/Pyramid-Flow生成された動画はこちら!解像度やステップ数を減らしているため、チラつく感じが出てしまっているのかもしれません。Flowで生成される動画とそのほかの動画生成AIで生成される動画を比較してみたいと思います。比較する動画生成AIは次の2つです。fps=24)生成された動画は以下です。city.」というプロンプトで、比較してみます。fps=24)生成された動画は以下です。FlowのDemo版で生成した動画です。ステップ数や解像度を下げている影響からか、うまく生成ができませんね・・Demoで生成した動画を見ると画質はかなり綺麗かなと思います。Videoを行なっていきます。fps=24)上記のコードを用いた結果は以下です。次にスポーツの静止画を使って、動画を生成してみます。fps=24)生成された動画は以下です。こちらもあまりうまく生成ができませんでした。最後に番外編ですが、あの有名海賊漫画も動画にしてみます。こちらもGPUの影響からかうまくいっていませんが、プロンプトの指示に従おうとしている様子は見てとれます。Colaboratoryの限られた環境では、綺麗な動画を生成することはできませんでしたが、ローカル環境で実装できる場合には、短時間で高画質の動画を生成することができるため、これまで以上に動画生成界隈が賑わうことが予想されます。Faceで公開されているデモでも試してみたのですが、メモリが不足してしまい、あまり高品質とは言えない動画が生成されてしまいました...。メモリを増強して再挑戦しようと思っています。裏ワザでOpenAIのSoraを使う禁断の方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。WEELメディア事業部LLMリサーチャーの中田です。TechのColossal-AIチームが公開しました。Colaboratoryでの実装方法を紹介しました。Colaboratoryでは限界がありますが、Demo版を使ってみると、画質は確かに綺麗になっていることがわかります。計算コストを削減しながらも、高品質な動画生成を実現することが可能です。広告制作やプロモーション映像、製品デモなど、多様な業務で高品質な動画を効率的に活用できるでしょう。ローカル環境で実装できる場合、短時間で高画質な動画生成が可能となり、今後の動画生成分野での活用が大きく進むことが期待されます。Flowなどの動画生成AIは、広告制作、プロモーション映像、製品デモなど、幅広い業務において、高品質な動画を効率的に生成できます。・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタントなどの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。10年間理学療法士として勤務し、その後Pythonを独学で学びデータアナリストとして転職。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。