SQUADが描く未来のバーチャルプロダクション。SQUADが描く未来のバーチャルプロダクション。SQUADによるR&Dプロジェクト「DB」xR連載もいよいよ最終回。SQUADのテクニカルディレクター小川さんに教えてもらいました。SQUADが現在取り組むバーチャルヒューマン&バーチャルプロダクションと、その可能性についてお話を伺います。物語を現実にする技術”篇」はこちらから──これまでxRを使った事例はビッグネームが多く、興味はあれども敷居や制作費はまだまだ高いというのが現実なのでしょうか?「マンダロリアン」(詳細は連載第二回目へ)のようなハイエンドのプロダクションがある一方、実はバーチャルプロダクションへの参入は比較的容易になってきています。iPhoneでLiDARスキャンはできるし、カメラトラッキングもできます。Engine(アンリアルエンジン。以降アンリアル)も無料で使えます。環境面で作り手の敷居は低くなってきています。その気があれば誰だってxRクリエイター/エンジニアになれる時代なんです。バーチャルアイドルを現実空間に合成したいという要望は、コロナ以前よりずっとあったのですが、その頃はまだCGのプリレンダリングで頑張って合成するしか方法が無くて、制作工程がすごく長かったんです。1センサーから取得した人間のモーション(動き)のデータをCGで作ったバーチャルアイドルに反映2専用のソフトウェアから取得した現実のカメラの移動や回転、ズームなどの情報をバーチャル上のカメラにも反映させる3レンダリングをかける4最後に現実空間の背景映像とレンダリングしたCGのバーチャルアイドルを合成し、色調整をして、再度レンダリングをかけるという流れでしたが、リアルタイムエンジンを使うことで、1〜4の工程が瞬時にできるようになりました。Mico」のように、自宅で自身をモーションキャプチャーをしながらそれをリアルタイムでバーチャルヒューマンにワンストップで反映できるんです。時間も関わる人数も少なくてすむようになります。──その利点を生かして現在取り組んでいるのがバーチャルヒューマンプロジェクト「DB」ですね。SQUADで取り組む、ワンストップバーチャルプロダクションのR&Dプロジェクト「DB」。「DB」は、BASSDRUM事務所の屋上という現実空間に、バーチャルヒューマン”DBちゃん”が登場しパフォーマンスを行う内容です。Mo-Sysを使ったカメラトラッキングとアンリアルによるリアルタイム合成の検証することが目的でした。SQUAD内でワンストップで作れるかということでした。チームのキャッチコピーに「最初から最後まで」と掲げているのですが、コンパクトなチームで迅速にフレキシブルなプロダクションでどこまでできるのかを検証する目的もありました。──通常の映像制作でも、分業制になればなるほど現場に人数は多くなります。ワンストップで完結し、コンパクトなチームで動けると、クオリティのコントロールもしやすいですし、コストも抑えられます。このビデオ制作も機材手配、キャラクター制作、洋服のシミュレーションもチーム内で完結しています。キャラクター制作から取り掛かりました。これまではリギングの作業やモーション付けは負荷の大きな作業でモデラーさんに外注していましたが、最近は自動で処理してくれるソフトウェアなどがでてきたので、R&D用途であればインハウスでも作れるようになってきました。このビデオはデモということもあり、キャラクター制作には1週間しかかけていません。バーチャル上でパターンをつくって縫製をしています。服作りでも既存のアセットをうまく活用して、こちらも短時間で仕上げています。テカテカした生地を選んで現実世界の空間が反射で映り込むようにしたり、事前にシミュレーションを行うことで服のたるみを精緻に表現しています。現実のカメラ座標をトラッキングするセンサーMo-Sys次のフェーズはMo-Sysを使って現実のカメラ座標をトラッキングし、バーチャル上のカメラと連動させます。ここで活躍するのがBASSDRUM特製の「BDプロトコル」。EngineやUnity)をつなぐミドルウェアで、バーチャルと現実を一体化させるものです。健によって作られているので、通称「ムラケンプロトコル」とも呼ばれていて、弊社のバーチャルプロダクションの要です。ハード側とソフト側をつなぐミドルウェアBASSDRUM特製の「ムラケンプロトコル」テスト撮影では、本番のロケーションとなる屋上スペースを、iPhoneのLiDAR(ライダー)をつかってスキャン撮影したものを、仮スタジオにおいて、「こんな感じかな~」ってカメラを動かしながら実際の見え方の検証をしました。ライティングは、現実には手前の2本のネオン管のみです。後ろのネオンはCGです。現実と仮想空間の境界をどれくらい曖昧にできるか表現の実験でもあります。ライティングを設計したら、キャラクターの動きも含め、シミュレーションをしました。──デモンストレーションの結果には満足されていますか?CG上で重要かつ難しいとされる一つが影の表現なのですが、自然な形で作れたと思っています。影があるかないかで没入感やリアリティの感じ方がぜんぜんかわってくるんです。今後の課題としては、現実とバーチャルの境界をどこまで曖昧にしていけるか、その精度を高めていきたいです。バーチャルヒューマンによって世界はこう変る三回に渡って”xRの今”を教えてくれたテクニカルディレクター・小川恭平さん──ワンストップでのバーチャルプロダクションやバーチャルヒューマンは今後どのようなシーンで活躍していくのでしょう?バーチャルライブ、ライブコマース、様々な配信用途に可能性を見ています。今後確実にバーチャルヒューマンの需要は増えてくると思っています。このデモでは、既存のモーションをつかっていますが、リアルタイムでダンサーの動きをトラッキングした振り付けなど、様々なケースが想定できますね。バーチャルファッションショーも増えてきています。自分のバーチャルキャラクターに着せるバーチャル服を買うこともできます。──同じデザインの服を現実用とバーチャル用に買う二枚買いもありそうですね。いう時代においてアバターの価値はもっと上がっていくんだろうなって。現実世界では外出をしなくても、自分のバーチャルヒューマンはソーシャルネットワーク上では活発に行動していて、バーチャルで買った服を着て、ネットセレブと遊んで写真をとってポストするみたいな、別人格としての人生もリアルにある。近未来には、バーチャル上で恋愛して家族を作ることもできるかもしれないし、障害を持った人がxRの技術でもうひとつの生活をおくることだってできる。─今年の文化庁メディア芸術祭の受賞作品にxR作品が目立って増えた印象でした。)患者であり、アーティストである武藤将胤さんによる作品でしたね。今バーチャル空間で感じることのできる五感は、視覚と聴覚だけです。そのうちに五感をフル活用したxRが出てくるんじゃないかと思います。するとますます現実と仮想現実が曖昧になる。「現実」の価値観も変わってくるでしょう。学校では目立たない存在でも、仮想現実ではすごく目立っていることもあるだろうし、別人格を持つことが普通になってくる。すると無意識にもうそういう感じになっているのかもしれない。──確かにSNSですでに複数アカウント=アルターエゴをもっている時代ですよね。ジェンダーも超越する世界だし、容姿だってもっと自由になる。男性で長髪だと不適切だと騒がれたりする日本だからこそ、バーチャルの世界と両立することで自由で生きやすくなるかもしれません。エンターテイメントやビジネスの世界でのxRの活躍もありますが、社会的にも今の時代の生きにくさがバーチャル上で開放されるといったような側面も期待できます。──本当の自分自身でいられる場所になってくるとすれば、カルチャーとしても大きなうねりになっていきそうですね。今の世代が共感する価値観であり技術だし、つくり手も増えてきているので、xRでハッピーな未来になるって信じています。SQUADはエンターテイメントからビジネスの場まで様々な事例を手掛けている。LINE社のビジネスカンファレンスのオープニングやステージ演出にもxRの技術者として関わった。SQUADはテクニカルディレクターの集団ですが、所属するBASSDRUM(仕事場)はどのような雰囲気ですか?BASSDRUMは30人強のメンバーがいますが、正社員は半数程度で、残りの半数は自分の会社や別のチームにも所属していたりとフレキシブルです。その雇用形態によってプロジェクトを進める上で差があるわけではなくて、案件ごとに流動的にチームを組んでいます。上下関係もなくフラットで、特技をもった人たちが集まった非中央集権的な組織、コミュニティに近いと思います。なんですごく僕は楽しいんです。機材オタクやソフトウェアオタクと一緒にモノづくりをしている、サークルみたいですよね。技術の進歩と相まって、多様な世界や価値観がこれまで以上に受け入れられるようになって、大きな会社に所属しなくても個人やチームで活動できる構造に変わっていると実感しています。SQUADをよろしくおねがいします。頃よりエンターテインメント業界に携わり、漫画を中心としたクリエイターエージェンシーでエンジニア兼編集者を経験する。2020年よりアソシエート・テクニカルディレクターとしてBASSDRUMに参画し、エンターテインメント・AR/VRのエンジニアリング、ウェブサイトやサービスの構築からコンテンツまで、幅広いプロジェクトに携わる。bykanaNEWREELの編集者。SQUADが描く未来のバーチャルプロダクション。語る、アニメーション作品「君か君か」。白抜きのキャラクターデザインと感情移入させるアニメーション誕生秘話。「ZENON」を含む全8作品を一挙上映。語る、アニメーション作品「君か君か」。つないだ手を通して描くアニメーション的心理描写。語る、アニメーション作品「君か君か」。白抜きのキャラクターデザインと感情移入させるアニメーション誕生秘話。よる絵本プロジェクト「ちいさなものとおおきなもの」。SQUADが描く未来のバーチャルプロダクション。NEWREELPosting....。