Prince』キャンペーンで機械学習の技術を活用この記事は約6分で読めますShare機械学習は様々な分野や産業に波及を続け、とりわけ、VFX/アニメーション業界においては、自動化とAIによってもたらされる作業時間の削減という恩恵が享受されている。プロジェクトが複雑化する一方で納期の短縮化が進み、制作現場には新たな課題が突きつけられている。した課題を解決するために、最新のテクノロジと最先端ツールに支えられた新しいワークスタイルが求められている。13.0で発表されたFoundryの機械学習ツールの開発は、こうした認識に基づいて行われた。新たに導入されたツールセットに含まれるCopyCatは、ニューラルネットワークをトレーニングすることで、画像ベースのタスクにカスタムエフェクトを作成できるプラグインだ。作業時間を大幅に短縮するために設計されたCopyCatを使用することで、ガベージマットの作成など、複雑で時間のかかるタスクを自動的に実行することができる。プラグインにサンプルをいくつか入力すれば、CopyCatがニューラルネットワークをトレーニングしてエフェクトを再現し、シークエンス全体にエフェクトを適用することが可能だ。Prince』という画期的な反ナイフキャンペーンでこのツールが活用された。Princeをデジタル技術を使って蘇らせるというものだ。Wooley氏のもと、Kiyanの姿はキャンペーンのショートフィルムの一部として繊細かつ精巧にデジタル再現された。CopyCatノードの活用について、Saam氏に話を聞いた。13.0の一部として商用リリースされたCopyCatは、アーティストやスタジオがその可能性と潜在能力を探究する中、数ヶ月をかけてパイプラインへの定着が進んできた。Saam氏はこれまでの使用経験から、CopyCatの試しやすさ、習得のしやすさについて次のように話す。「CopyCatは十分実証されたノードです。直感的で理解し易く、実作業における活用は極めて容易に行えました。以前から機械学習のコンセプトについては社内で議論を重ね、事前の調査にかなりの時間をかけていましたし、YouTubeの動画も役立ちました」しかし、Framestoreにとって機械学習技術の活用はCopyCatが初めてではなかったという。「私たちは機械学習における研究開発を数多く行っており、機械学習を用いたジェネレーティブアートで多くの画像を生成し、常に敵対的生成ネットワーク(GAN)を念頭に置いて、新たな画像生成を行なっています。使用できるようにラベル付けされた画像を数多く所有することで、トピック分析が非常に興味深いものになります」こうした経験を踏まえ、Saam氏は次のように話す。「CopyCatは非常にとっつきやすいので、エンジニアではなくアーティスト主導でクリエイティブなアイディアを実現することができます。CopyCatの真の実力はこの点にあるのです。Princeへのオマージュだ。生きていれば30歳になるKiyanはこの動画で、かつて所属していたクイーンズ・パーク・レンジャーズFCの選手として、背番号「30」を身につけて登場する。Framestoreはこのプロジェクト全体を無償で引き受けたという。CopyCatの具体的な活用について、Saam氏は次のように話す。「役者のユニフォームに付いていたスポンサーロゴを削除しなければならなかったのですが、作業を行うコンポジターがいなかったので、自分でPhotoshopで4つのフレームをペイントし、CopyCatノードに追加しました。ラップトップでたった2時間のトレーニングの後、ロゴを削除することができました。機械学習の活用は作業時間の削減に大きく貢献し、アーティストはよりクリエイティブな作業に時間を費やすことが可能だ。「CopyCatによって、アーティストは本来の作業に専念することができます」とSaam氏は言う。このプロジェクトでは2つのショットでCopyCatが使用されたが、一方のショットのチェックポイントをもう一方のショットのベースとして使用するのではなく、クロップしたKiyanのシャツをトラッキングしたという。Prince』以前から、CopyCatはFramestoreのパイプラインで広範なテストを受けてきたが、最も注目すべきは、Mayaからのプレイブラスト/プレビューレンダリングと最終レンダリングのトレーニングだ。「このトレーニングにより、プレビューレンダリングから最終レンダリングのクオリティに変換できるモデルができました」とSaam氏。「結果は完璧ではないものの、十分注目に値するワークフローです。ニューラルレンダリングは、今後数年で制作ワークフローを大きく変えることになるでしょう。これは、レンダリングパイプラインの強化を実現するニューラルレンダリングの実力を示すほんの一例に過ぎません」CopyCat、ひいてはNukeの機械学習に今後期待することは何か。「抽出、Inpaint、キーイングのための特定のネットワークはスタートに過ぎません。GANを使用してテクスチャ用の画像を生成できるようにする必要があるでしょう。Nukeの画像処理機能と最新の研究を融合させることで、真にプロシージャルかつスケーラブルな画像処理/生成が可能になると思います」Saam氏は、今後、機械学習がコンテンツ制作のワークフローやスケーラビリティにプラス影響をもたらすという見通しを示す。「機械学習は、複雑で計算量の多い処理を1つのデータセットに“ベイクする”という目的で、すでに3Dパイプラインにおいて多用されています。「制作パイプラインの中の計算負荷の高い処理を特定し、それらを人的作業ではなくデータセットに基づいて自動化するというのは、まさに、CopyCatによって実現できたことであり、これによってアーティストは本来のクリエイティブな作業に集中することができます。した試みはまだ始まったばかりで、テクニカルディレクターがこの新しい技術に習熟すれば、ニューラルレンダリングの背景にあるアイディアを革新的に応用し、パイプライン工程をブラックボックス化することが可能になるでしょう。Nukeの30日間無償体験版をお試しください。Limitedは、英国およびウェールズにおける登録商標です。