印象メディアコンテンツを対象とした 
Cyber-Physical Transformation の実現と顔印象自動抽出に基づく 
3D Virtual Content Generator への応用 
新田拓真†  中田亮佑†  臼木瑠音†  萩本新平†  中西崇文† 
†武蔵野大学 データサイエンス学部 データサイエンス学科 
1 はじめに 
近年，センサーデバイスの性能の進展により
Physical Space の現象や状況を表すデータを取得し，そのデータを Cyber Space で蓄積することが可能となりつつある．これらのデータを Cyber Space 上で処理，分析し，その結果を Physical Space で可視化，再現する手法の実現が重要な課題となってきている．Cyber Space での分析結果の可視化，再現手法の一つとして，その分析結果を表す 3D 仮想コンテンツとして再構成することにより，Physical Space において，分析結果を客観的に体感することが可能となると考えられる．今後，Physical Spaceと Cyber Space をシームレスにつなぎ，データの取得，処理，分析，可視化，再現を実現できる手法を実現することが重要になる． 
本稿では，Physical Space と Cyber Space をシー
ムレスにつなぐための基本フレームワークとして，Cyber-Physical Transformation について示す．Cyber-Physical Transformation とは，カメラをはじめとするセンサーデバイスから取得されたデータを対象として，そのデータから具体的に処理，分析することにより，そのデータが表現する現象，状況，印象を処理，分析により抽出し，その抽出された結果に基づき再度 3D オブジェクトとして変換する一連の変換システムを指す．  
本稿では，Cyber-Physical Transformation の応
用として，顔画像メディアコンテンツを対象とした3D Virtual Content Generator を実現する．これは，カメラで取得した顔画像について，その顔画像から印象を抽出し，その印象に合致したファッションアイテムを付与した形で 3D Virtual Content を構成する．この方式により，自分の顔に合致したファッションアイテムを俯瞰的，客観的に観察，体感することが可能となる． 2 Cyber-Physical Transformation 本節では，本システムを構成する Cyber-Physical Transformation について示す.  
Cyber-Physical Transformation は, 3 次元で構
成される Physical Space からカメラなどのセンサーデバイスを用いて n 次元データとして取得し，n次元空間を Cyber Space を構築する．その n 次元空間上でそのデータが示す印象を抽出した上でそのデータを抽出した感性に基づき 3 次元空間，つまり，Physical Space へ再構成する枠組みである．本フレームワークの概要を図 1 に示す． 
本稿では，具体的な例として，ユーザの顔画像を
カメラによってデータ取得し，その画像データから印象を抽出，推定を行い，その印象に合致したファッションアイテムを付与した新たな 3 次元仮想コンテンツとして再構成する手法を 3D Virtual Contents Generator として実現している．本方式によって n 次元空間と 3 次元空間をシームレスに写像することが可能となる．このシームレスな写像を実現することにより，データ取得，分析，表現のサイクルを展開することが可能となる． 3 3D Virtual Content Generator 
Cyber-Physical Transformation での 3 次元空
間から n 次元空間へと n 次元空間から 3 次元空間への双方向の写像を実現とする機構としてセンサーデバイスと 3D Virtual Content Generator が挙げられる．センサーデバイスは，3 次元空間から n次元空間へと写像をする機構と位置付けられ，本稿では実際のユーザの顔を画像として取得するカメラがこれに相当する．3D Virtual Content Generatorは，n 次元空間から 3 次元空間への写像をする機構として位置付けられ，n 次元空間において抽出，推定した印象に依存して 3 次元仮想コンテンツとして再構成する．本機構は，センサーデバイスによって取得されたデータを n 次元空間において分析した結 
A Realization of Cyber-Physical Transformation for Impression Media Contents and Its Application to 3D Virtual Content Generator for Automatic Extraction of Face Impression Takuma Nitta†, Ryosuke Nakata†, Rune Usuki†,  Shinpei Hagimoto†, Takafumi Nakanishi† † Musasino University, Department of Data Science 
図 1：Cyber-Physical Transformation の概要  
Copyright     2020 Information Processing Society of Japan.All Rights Reserved.4-153
4ZC-05
情報処理学会第82回全国大会
 果を客観的に把握するため，実空間に仮想的にコンテンツを表現するものである． 
本稿で実現する 3D Virtual Content Generator
は，カメラで取得された顔画像をから n 次元空間において抽出，推定した顔の特徴，印象によって決定した似合う帽子を被るユーザーの顔の 3 次元仮想コンテンツを 3 次元空間に表現するものである．これにより，ユーザは自分の顔の特徴，印象に合ったファッションスタイルを具体的な 3 次元仮想コンテンツによって客観的に把握することが可能となる． 4 実装 
3D Virtual Content Generator の実現システム
は，顔の 3D モデルとファッションアイテムの 3D モデルを生成してオーバーレイした上で現実世界に3D で AR 表示することでユーザ自身が客観的に可視化され，どのファッションが似合うかを自ら判断することを可能にしたものである．本システムは大きく，3D モデルの生成部，ファッションアイテム選択部の 2 つに分かれる．実装に係る全体構成は図 2に示す． 4.1 3D モデルの生成 3D モデル生成部では，2D 顔画像データと顔印象情報に基づき，俯瞰するための 3D モデルを生成する．これにより，2D 顔画像データを顔印象情報が反映された実際の 3D 空間で俯瞰できる． (1) 顔の 3D モデルの生成 
最終的に本システムで期待される 3D での AR 表示
を実現するために，顔の 3D モデルの生成には公開されているオープンソースである PRNet[1]を一部改良した。また、PRNet の処理で顔認識に関する処理が含まれているが，精度向上のためにユーザの正面から映した 1 枚の顔画像を PRNet に取り込む前に写っている人の輪郭に沿って背景除去の処理を行った． (2) ファッションアイテムの 3D モデルの作成 
今回ファッションアイテムは具体的に帽子を対象
にした．3DCG ソフトウェアを用いて事前に 8 種類の帽子の 3D モデルを作成した． 4.2 表示するファッションアイテムの選択 
4.1(2)で作成した 3D モデルの中からどのアイテ
ムを表示するかはユーザの顔画像から抽出される
“顔印象情報”とファッションアイテムにあらかじめ付与した印象の距離に基づいて自動で提案する．ここでいう顔印象情報とは人が他人の顔を見て受けとる印象のことを指す．ファッションアイテムに付与する印象も同様である．これらの印象は，小林が提案した言語イメージスケール[2]の中から顔やファッションアイテムから読み取れる印象語として不適切なものを除いた印象語群を採用して，その中から付与している． 4.3 AR 表示 
生成された顔の 3D モデルとファッションアイテ
ムの 3D モデルの AR 表示は Unity 上で使用できるVuforia という AR 開発ツールを使用している．あらかじめ作成した AR マーカーをカメラで認識することで AR マーカー上に 3D モデルを表示させる．AR マーカー上に表示された 3D モデルをユーザの顔の横に並べることで客観的に可視化することができる．以下の図 3 で本方式の実現例を示す．図 3 では AR マーカーを表示させたタブレット端末を持ったユーザーの隣にユーザー自身の顔の 3D モデルとユーザーの顔の印象を基に提案された帽子の 3D モデルをオーバーレイして表示させることで客観的に見ることができる様子を示している． 5 まとめ 
本稿では，Physical Space と Cyber Space をシ
ームレスにつなぐための基本フレームワークとして，Cyber-Physical Transformation について示した上で，その応用として，顔画像メディアコンテンツを対象とした 3D Virtual Content Generator を実現した． 
今後の課題として，ファッションアイテムの拡
充，顔画像以外の他メディアへの展開，本実装システムの利用者へのアンケート調査による有効性の検証が挙げられる． 6 文献 [1] Feng, Y., Wu, F., Shao, X., Wang, Y., and Zhou, X.: Joint 3d face reconstruction and dense alignment with position map regression network, Proc. the European Conference on Computer Vision (ECCV2018), pp. 534-551, Springer (2018). [2]小林重順 : カラーイメージスケール改訂版, 講談社 (2007). 
Vuforia
inputprocessingoutput
オーバーレイ
ファッションアイテム
の選択の判断
object
material
object
picture
ファッションアイテムの3Dモデル
texture
ファッションアイテム
図 3 : 本方式の実現例 
図 2 : 実装に係る全体の構成 
Copyright     2020 Information Processing Society of Japan.All Rights Reserved.4-154
情報処理学会第82回全国大会