3Dスキャン✕フォトグラメトリ✕UE5によるデジタルツイン制作サービスを様々な業界に提供したい。求人TOP特集3Dスキャン✕フォトグラメトリ✕UE5によるデジタルツイン制作サービスを様々な業界に提供したい。新会社クープの挑戦2024/01/193Dスキャン✕フォトグラメトリ✕UE5によるデジタルツイン制作サービスを様々な業界に提供したい。昨年10月に株式会社キュー・テックと株式会社ポニーキャニオンエンタープライズの合併により発足した株式会社クープが、3Dスキャンによる点群データとフォトグラメトリを組み合わせ、UE5でシーン構築を行うデジタルツイン制作サービスをスタート。そのサービスのねらいと制作の具体的なポイントについて、金苗貴宏氏と松本一成氏に聞いた。記事の目次3Dスキャンとフォトグラメトリを組み合わせてつくるデジタルツインとはCGWORLD編集部(以下、CGW):まずは、クープが始めたという「点群データと写真素材を使用したデジタルツインサービス」がどういったものなのか、改めて教えてください。シニア・スーパーバイザーCGW:そもそも、なぜデジタルツインサービスを起ち上げることになったのでしょうか、その経緯をお聞かせください。Engine(以下、UE)を使ったプロジェクトを新規に起ち上げようと考えて、何ができるかを模索していました。その中で松本から、フォトグラメトリを使ってみてはどうだろうという提案があったんです。彼は前職のアニメ制作会社でフォトグラメトリを使えないか検証していた経験があったので、それをそのまま実写へとスライドさせてみました。昨今、バーチャルプロダクションやデジタルツインというキーワードも盛り上がってきていることが感じられたので、市場にもニーズはあるだろうという読みがありました。CGW:クープはデジタルツインサービスを自社のコンテンツ制作に留めておくだけでなく、他社に向けても提供する予定だそうですね。その意図はどういったところにあるのでしょう?金苗:確かにデジタルツインの制作を社内に留めて、それを自社コンテンツとして育てていこうという企業さんもあります。われわれはそれをオープンにして、受託というかたちで社外に提供していくことによって、新しいニーズを発掘していきたいと考えました。松本一成氏(以下、松本):映像系の企業で、デジタルツインの受託制作に入っていくところがあまりないというのもポイントでした。建築業界だと、社内にCGクリエイターを抱えてデジタルツインをつくっている企業さんもありますが、それらは自社内サービスで留まっていることが多く、また建築系の方はアートとしての表現ノウハウをおもちのところが少ないようで、そういった会社さんがつくったデジタルツインがそのままインカメラVFXで使えるかというと厳しいところがある、というような話も聞いていました。R&DプロデューサーCGW:3Dスキャンとフォトグラメトリを組み合わせるまでには、どのような技術的検討があったのでしょうか。金苗:最初はフィギュアや公園のベンチなど身近なものを、スマホを使ったフォトグラメトリで作成してみるところから始めました。そこからいろいろと調べながらハンディスキャナを使ってみたり、FAROのような3Dスキャナを使ってみたりと様々な手法を試していく中で、3Dスキャンとフォトグラメトリを組み合わせるのが一番いいんじゃないか、という結論にいたりました。Proなど、フォトグラメトリが使えるソフトはひと通り試しました。結局、最終的にUEにもっていくにはRealityCaptureが一番使い勝手が良かったので、そこに落ち着きました。CGW:デジタルツイン事業にあたって、クモノスコーポレーションと協業されていると伺いました。両社の役割の分担や協業にいたった経緯についてお聞かせください。松本:クモノスさんにはスキャン周りの撮影とデータの書き出しをお任せしていて、状況によってはスキャナで撮った写真も出していただいています。われわれは当初スキャンデータをどう扱えばいいかの知識がなく、そういったところをクモノスさんに頼ることにしました。クモノスさんもただの測量を超えて3D関連に参入したいと考えておられたようなので、一緒に研究開発をやっているような関係性ですね。「江戸東京たてもの園」のデジタルツインデモはこうしてつくられたCGW:3Dスキャンによる点群データとフォトグラメトリ手法を併用した具体的事例として、「江戸東京たてもの園」のデジタルツイン制作工程について詳しく教えてください。金苗:全体のながれとしては、まず現地での3Dスキャンおよび写真撮影から始めました。3Dスキャナによる測量、地上からの写真撮影やロッド、ドローンを使っての上空からの写真撮影などをして、そこからアライメントの合成という工程に入ります。点群データのアライメントと写真データのアライメントを合成するのですが、この工程に一番時間がかかりました。そこが完了したら、次はモデリング工程に入り、メッシュのリトポロジーなど3Dモデルの調整をします。Painterでテクスチャを作成し、アセットの質感付けをしていきます。最後にUE5でライティング設定などをして、シーン構築を完了させました。CGW:各工程に使用した機材やツールについて教えてください。Sの2機体を使用しました。アライメントの合成にはRealityCaptureを使いました。モデリング工程では、作業者によってBlenderやMudboxを使い分けていました。Painterで行なっていましたが、一部の作業者はBlenderを使っていました。最終的なアウトプットが揃ってさえいれば、ツールは作業者に任せていましたね。CGW:今回はどれくらいの範囲を対象にされたのでしょうか?金苗:江戸東京たてもの園の東ゾーンと呼ばれる部分をほぼ丸々撮影しました。建物が全部で14棟あったので、かなりの広さでしたね。本来なら測量も2名体制でやる予定だったのですが、今回1名しか参加できなかったので、かなり大変でした。▲ドローン撮影の様子CGW:実際に撮影をしてみて難しかったところはありますか?松本:古い建物で柱の梁などがあると、その裏を撮るために時間をかけないといけませんでした。金物屋さんのように細かいものが中にたくさん吊るしてあるような場所も時間がかかりましたね。逆に街区の撮影の場合は、その建物の外観さえあれば、あとはフォトグラメトリで補完するからということで、そんなに時間をかけずにすみました。点群データは角がくっきり出ますが、逆にフォトグラメトリはそこが曖昧になってしまうんです。色や質感を出したい場合はフォトグラメトリの方が優れているんですが、建物の形状をしっかり出そうと思うなら点群データの方がいいわけです。今回はその2つを融合させていいとこ取りをするということだったので、建物の外観などは4〜5分くらいの短時間でスキャンしていました。あとから点群データとドローンで撮影したデータを融合させるのには苦労しました。スキャナは固定させて動かないんですが、ドローンはGPSデータを拾ってはいるものの、移動しながらの撮影なのでどうしても1~2mの誤差が出てしまうんです。その2つのデータを融合させるのは大変でした。Rodの使用が重要になってくると感じました。Rodでの撮影もオーバーラップを考えて撮っておかないと、あとから大量にコントロールポイントを打つはめになってしまいますね。今回色々と苦労した点はありましたが、色んな意味で機材の検証もできましたし、建物の形状も様々だったので、かなり勉強になったと思います。データ▲フォトグラメトリデータ▲合成結果CGW:撮影後、出来上がった3DCGモデルはどの程度調整されましたか?金苗:当初の予定では一人称視点で作ろうと考えていたので、建物の正面はできるだけメッシュを綺麗に整えました。穴が空いているところは、RealityCapture上で埋めました。DCCツールで埋めると、RealityCaptureにもってきたときに上手くテクスチャを貼れないらしいので。ガラスなどは3Dスキャナが測定できないので、その部分もあとからCGで修正していきましたね。木の葉っぱや草などは、点群データだと綺麗に形が出るんですが、フォトグラメトリだと塊になってしまうので、そのあたりもCGで置き直しをしています。業界にデジタルツインを提供していきたいCGW:今回の制作を通じて見えてきた課題についてお聞かせください。松本:課題として感じたのは、レンズの問題がその後の制作に大きく影響するということですね。35mmや28mmで固定して撮影するより、もっと寄った方がいいんじゃないかとか、対象や状況に応じて適切なレンズを選択する必要を感じました。それから天候にも大きく左右されます。夏は日が照ったときのシャドウがはっきりしすぎるので、フォトグラメトリには向きません。昭和の建物は暗いものが多いので、ワイドのレンズを使って開けていった方がいいのかとか......その時々に応じてどのようなレンズを使うべきかのノウハウを蓄積していくべきだと感じました。BEEで、このデジタルツインサービスのデモ展示をされたとのことですが、手応えはいかがでしたか?金苗:思った以上に反響が大きかったですね。当日までは、当社の目指すデジタルツインがどこまで受け容れてもらえるのかかなり心配していたんですが、初日からかなり多くの人に観ていただけました。様々な業界からの反応も良かったです。InterBEEでの展示の様子CGW:例えばどのような業界の方が興味を示されていたんでしょうか?金苗:特にテレビ局の方が興味を示してくださいました。デジタルセットという考え方と相性が良かったようです。それから360度カメラのMatterportを使ってらっしゃるメーカーさんなどが、当社のようなフォトグラメトリと点群データの組み合わせ方式でデジタルツインの制作ができるということを面白く感じていただけたようです。バーチャルスタジオをお持ちの企業さんや、美術館関係の方からもからも興味を示していただけました。想像していた以上に幅広い業界から反応をいただけましたね。CGW:最後に、今後のサービス展開予定や、展望などについて教えてください。金苗:先ほどの話にも少し出ましたが、テレビ業界や美術関係、インカメラVFXの背景など、そういった分野にサービス展開をしていければと思っています。デジタルツインというものに対して業界やメーカーさんごとに捉え方が違うようなので、そこはお客様の反応を見つつ、われわれのほうで技術をカスタマイズして提供していければと考えています。テレビをはじめとした映像業界の方々はデジタルセットなどを求められていますし、美術関係の方々は美術品をデジタルツインでアーカイブしてみたいと考えられているようです。デジタルツインを取っかかりとして、これからUEを含めた映像表現をどうしていくかということについても考えていかなければならないと思っています。CGW:やはり今後もUEを主軸として考えられているのでしょうか。松本:NeRFなども、映像用のVコンテなどにちょっと使ってみたりしていますし、UEだけでなくUnityが使えるスタッフも在籍しているので、Unityでどう事業を展開できるかということも検討はしています。現状、映像業界としてはUEを用いたインカメラVFXが主流となりつつあるので、どうしてもそこを中心に考えていくことにはなりますね。技術部門から言えば、もっといろんなことを試したいし、もっとできることはあるんじゃないかとも思っています。この業界は進歩が早くてすぐに置いて行かれそうになりますし、UEはできることが多すぎて、何のために使うのかを考えていかないと焦点を失ってしまうという怖さもあるんですよ。学ぶことも多いですし、われわれは後発なので、いろいろなことを検証しながらやっていきたいと思います。CGW:ありがとうございました。MORE週間ランキング月間ランキング2024/10/22看護師からCGの世界へ。MORE2024/10/22看護師からCGの世界へ。V-Crew(ブイクルー)研修講師に就任。【CGデザイナー募集】会社を「デザイナーが技術を探求する場所」に。話題になるフィギュア作りに挑戦できる会社です。MORE2024/10/22看護師からCGの世界へ。MORE2024/10/22看護師からCGの世界へ。V-Crew(ブイクルー)研修講師に就任。MORE会員登録してもっと便利にCGWORLDを利用しよう!会員登録のメリット記事の保存ができるCGWORLD.jpで気になる記事や後で読みたい記事などを保存することができます。※最大100件まで保存が可能セミナーが探せるボーンデジタルが開催しているセミナー情報を見ることができます。自分が登録しているセミナーも管理することができます。CGWORLDのランキングや最新の講座情報などをお届けするCGWORLDメールマガジンの配信管理ができます。ログイン本会員は「クリエイターズID」と連動しています。