情報処理学会研究報告IPSJ SIG Technical Report
照度推定に基づく蛍光成分付与による質感編集
日高 大地1岡部 孝弘2
概要：蛍光物体とは，入射光に含まれる波長のうち，ある波長領域の光を吸収してより長波長の光として放出する特性をもつ物体である．出射光の波長が入射光の波長と等しい反射光に加えて，蛍光を放つことから，反射物体と比べるとより発色がよく，際立って見えるような印象を与える．これまで画像中の物体の光学的特性を編集するさまざまな質感編集手法が提案されてきたが，蛍光に関する質感編集は実現されていない．
そこで本稿では，単一画像中の拡散反射物体に蛍光成分を付与することで蛍光に関する質感編集を実現する．蛍光成分を付与するためには物体表面上の各点で分光照度を推定する必要があることを示すとともに，光源環境や物体形状の復元を行うことなく，3 バンドの分光照度を画像から直接推定する手法を提案する．
キーワード：質感編集，蛍光物体，分光照度
1.はじめに
蛍光物体は入射光に含まれる波長のうち，ある波長領域
の光を吸収し，それらを長波長側にシフトしたような波長
の光で放出する特性をもつ物体であり，塗料や植物，鉱石
など人工物，自然物問わず実シーン中に多く存在してい
る [1]．反射物体においては，入射光が物体表面で反射した
光が観測される．このときの波長は入射光に含まれる光の
波長に等しい．入射光の波長と等しいか，等しくないかが
反射光と蛍光の大きな違いである．蛍光物体の明るさは，
吸収する波長を表す吸収スペクトルと放出する波長を表す
放出スペクトルを用いて，反射成分と蛍光成分の和でモデ
ル化されている [2]．
質感編集とは画像中の物体の表面の反射特性や，透明度
などの光学的特性を編集するものである．物体の光学的特
性は，その物体の見え方に直接影響し，物体の見えは光源
環境や物体の形状にも依存している．そのため，物体の見
えを編集する質感編集では，設定した光学的特性を反映さ
せるために，光源環境や物体形状に関する情報が必要であ
る．これまでに，既知の奥行き画像と法線画像を用いた手
法 [3] や，単一画像のみから光源環境，物体形状の復元を
行う質感編集手法 [4] が提案されているが，蛍光に関する
質感編集は実現されていない．拡散反射物体が蛍光特性を
持っていた場合の見えを表現するという点でも，蛍光特性
の視覚的効果を検証するという点でも，蛍光に関する質感
1九州工業大学大学院情報工学府先端情報工学専攻2九州工業大学大学院情報工学研究院知能情報工学研究系
編集の有用性は高い．そこで本稿では，単一画像中の拡散
反射物体に蛍光成分を付与する手法を提案し，蛍光に関す
る質感編集を実現する．
具体的には，拡散反射光と蛍光発光の強度が双方とも物
体を照らす光の強度，つまり分光照度に依存するという点
に着目する．画像から得られる拡散反射成分から照度を推
定できることを示した上で，推定した照度とユーザが設定
する (吸収スペクトルと放出スペクトルからなる) 蛍光特性
を用いて蛍光成分を求める手法を提案する．画像から直接
照度を推定することで，その画像中の光源環境や物体形状
の復元を行うことなく，シーンに即した蛍光成分を求める
ことができる．実画像を用いた実験を行い，提案手法の有
効性を確認するとともに，照明シミュレーションへの応用
を実現する．
2.提案手法
2.1基本的な原理
蛍光物体の明るさは反射成分と蛍光成分の和で表現され
る．つまり蛍光物体を撮影した画像のある画素の画素値 i
は反射成分 r と蛍光成分を f を用いて，
i = r + f(1)
と表される．
画像中の物体が拡散反射物体であったときの画素値は反
射成分のみとなる．そこで，式 (1) と同じかたちになるよ
うに蛍光成分を付与することができれば，拡散反射物体か
ら蛍光物体への質感編集を実現できる．蛍光成分の付与に
c⃝ 2018 Information Processing Society of Japan1
Vol.2018-CVIM-212 No.7
2018/5/10
情報処理学会研究報告IPSJ SIG Technical Report
あたり，提案手法では既存の蛍光成分のモデルを用いて蛍
光成分を求める．そのためには物体を照らす光の強度つま
り照度が必要になることを示したうえで，拡散反射成分か
ら照度を推定する手法を提案する．
2.2蛍光成分のモデル
蛍光物体は吸収スペクトル，放出スペクトルという蛍光
物体特有の分光特性をもっている．吸収スペクトルと光源
の分光強度の積を全波長で積分したものが吸収光の強度と
なる．また，吸収光と放出スペクトルとの積で蛍光成分は
求まる [2]．実シーン中では物体は様々な方向から照らさ
れており，蛍光物体を分光感度が ck(λ)(k = R, G, B) のカ
メラで撮影した場合，波長 λ で，方向ベクトル ω からの
光源の分光強度を l(λ, ω)，画素 x における物体表面法線
を n(x)，蛍光物体の吸収スペクトルを a(λ)，放出スペク
トルを e(λ) とすると，画素 x における蛍光成分 fk(x) は，
fk(x) =∫ck(λ)e(λ)dλ
×∫a(λ′)[∫l(λ′, ω)ω⊤n(x)dω]dλ′(2)
提案手法ではナローバンドカメラによる撮影を仮定する
とともに，λ′ に関する積分を 3 波長の和で近似して fk(x)
fk(x) = ck(λk)e(λk)∑
m=R,G,Ba(λm)s(λm, x)(3)
のように近似する．ここで λk は k バンドの分光感度のピー
ク波長である．s(λm, x) は画素 x において物体表面がすべ
ての方向の光源によってどの程度照らされているかを表す
3 バンドの分光照度とし，
s(λk, x) =∫l(λk, ω)ω⊤n(x)dω(4)
のように定める．a(λk)，e(λk) はユーザー任意に決定する
パラメーターである．カメラの分光感度 (スケール) の影響
は無視できるものとして，以後１とする．3 バンドの分光
照度 s(λk, x) は光源環境，物体形状に依存しているが，提
案手法では分光照度と拡散反射成分の関係を利用すること
で，光源環境や物体形状の復元を行うことなく拡散反射成
分から直接 3 バンドの分光照度を推定する．
2.3拡散反射成分のモデル
ランバートモデルに従う拡散反射成分は，分光感度 ck(λ)
のカメラで物体を撮影した場合，画素 x での物体の拡散反
射率と法線，方向 ω からの光源の 3 バンド分光強度をそれ
ぞれ，ρ(λ, x)，n(x)，l(λ, ω) とすると，画素値 x におい
rk(x) =∫ck(λ)ρ(λ, x)
× [∫l(λ, ω)ω⊤n(x)dω]dλ(5)
と表すことができる．
式 (2) から式 (3) への変形と同様に，ナローバンドカメラ
を仮定すると，入力画像中の画素 x の拡散反射成分 rk(x)
を c(λk)，ρ(λ, x)，s(λ, x) を用いて
rk(x) = ck(λk)ρ(λk, x)s(λk, x)(6)
と表すことができる．上述と同様に ck(λk) = 1 とする．こ
の拡散反射成分を拡散反射率で割ることで分光照度を推定
できる．そのために拡散反射率を推定することを考える．
2.4分光照度の推定
一般に物体表面で観測される色は拡散反射率と光源色の
積で表される．拡散反射率を推定するために物体の 3 バン
ド分光輝度とシーンを照らすすべての光源で平均した光源
の 3 バンドの分光強度を考える．
被写体がテクスチャのない物体である場合，拡散反射率
は物体表面上で一様であるので，式 (6) を x について積分
して平均をとると，
¯rk = ρ(λk)¯sk(7)
となる．カラーコンスタンシーに基づくと，分光照度の平
均は光源色に等しいと考えられる．そこで，分光照度の平
均 ¯sk をカラーコンスタンシーを用いて求めた光源色 dk に
置き換え，式 (7) を
ρ(λk) = ¯rk
のように変形し，拡散反射率を推定する．
各画素での画素値を，推定した拡散反射率で割ることで
画素 x での 3 バンドの分光照度を
s(λk, x) = rk(x)
ρ(λk)(9)
のように推定する．
2.5蛍光成分の付与
推定した s(λk, x) を用いて蛍光成分 fk を求める．求め
た蛍光成分を入力画像に付与することで出力画像とするが，
ある波長の光が吸収されて蛍光として放出されるとき，そ
の波長では反射される光が減少する．このことをを表すた
めに，吸収光の強度と拡散反射率の積を吸収によって減少
した反射光とみなし，蛍光成分を付与したものからそれを
減算したものを画素値とする．このときの画素値 ik(x) を
蛍光成分 fk(x)，入力画像 rk(x)，拡散反射率 ρ(λk)，吸収
スペクトル a(λk)，照度 s(λk, x) を用いて
ik(x) = rk(x) + fk(x) − ρ(λk)a(λk)s(λk, x)(10)
のように求める．
c⃝ 2018 Information Processing Society of Japan2
Vol.2018-CVIM-212 No.7
2018/5/10
情報処理学会研究報告IPSJ SIG Technical Report
図 1３色の光源で照らされたシーンでの実験：(a)(e) 被写体の像
と球，(b)(f) 入力画像，(c)(g) 提案手法で求めた蛍光成分，
(d)(h) 結果画像
まず，図 1(a)(e) に示すようなテクスチャを持たない物
体での実験を行った．この実験では特定波長領域のみの光
を吸収し，より長波長の光を放出する蛍光特性を再現でき
ているかを検証するために図 1(b)(f) に示すように，対象
物体が異なる 3 方向から赤緑青の 3 色の光源で照らされて
いるようなシーンを撮影した画像を入力画像とした．本実
験では，被写体の拡散反射率が物体表面上の位置によらず
一定であるものと仮定し，光源の分光強度は隣接する画素
の画素値の変化量の平均が灰色になることを仮定したグレ
イエッジ仮設 [5] を用いて推定した．
 a(λk) と e(λk) をそれぞれ [0.0,0.0,0.4]，[0.4,0.3,0.0]，つ
まり青色の光を吸収し，黄色の光で放出するように設定し
た場合に提案手法によって求めた蛍光成分を図 1(c)(g) に
示し，それを入力画像に付与した結果を図 1(g)(h) に示す．
結果から分かる通り青色の光で照らされている領域のみで
蛍光成分を付与できており，定性的に良好な結果が得られ
これまで物体の拡散反射率が物体表面上で一様であると
仮定してきたが実際はほとんどの物体にはテクスチャ，つ
まり模様が存在するためこの仮定は成り立たない．そこで
反射率の推定をテクスチャごとに行うことで，この問題を
解決する．入力画像中の対象物体を色の閾値を用いて領域
分割した後，分割された領域ごとに反射率を推定した．こ
の実験結果を図 2 に示す．領域分割することで，図 2(d) に
示すように，蛍光成分を付与する領域（今回は紙コップの
模様がある部分）を選択することも可能となった．
また，実際の蛍光物体の画像と提案手法によって合成さ
れた画像の比較実験を行った．この実験では蛍光物体であ
るテニスボールを撮影した画像図 3(a) を，反射成分と蛍
光成分に分離する従来手法を用いて分離した２つの画像図
3(b)(c) のうち，反射成分のみの画像図 3(c) を入力画像と
した．また，放出スペクトルに関しては，蛍光成分のみの
画像から求めた．この入力画像のみから提案手法で求めた
図 2太陽光と蛍光灯で照らされたシーンでの実験：(a) 入力画像
(b) 推定した反射率画像 (c) 提案手法で求めた蛍光成分 (d) 結
図 3蛍光物体との比較実験：(a) テニスボールの画像 (b) 従来手法
により分離された蛍光成分 (c) 従来手法により分離された反射
成分 (d) 結果画像 (e) 提案手法で求めた蛍光成分
図 4照明シミュレーション
蛍光成分図 3(e) と結果画像図 3(d) を分離後の蛍光成分と
実画像とでそれぞれで比較を行ったところ，求めた蛍光成
分に球の陰影が十分に反映されており，結果画像としても，
違和感のない画像が生成された．一方，求めた蛍光成分に
は本来の蛍光成分にはないハイライトが確認できる．これ
は入力画像に鏡面反射が含まれていることが原因であり，
入力画像から鏡面反射を除去することの必要性が確認でき
応用として，シーン全体の色を変更し，照明シミュレー
ションを行った結果を図 4 に示す．上下それぞれ結果画
像と対応する蛍光成分のみの画像である．この実験でも
a(λk) と e(λk) をそれぞれ [0.0,0.0,0.4]，[0.4,0.3,0.0] として
おり，光源色が青色から離れていくにつれてつまり，吸収
する光が少なくなることで蛍光成分も減少しており，定性
的に良好な結果が得られたといえる．また，光源色の変化
によらず蛍光成分の色が一定であるという性質も再現でき
ており，このことからも提案手法の有効性が確認できた．
c⃝ 2018 Information Processing Society of Japan3
Vol.2018-CVIM-212 No.7
2018/5/10
情報処理学会研究報告IPSJ SIG Technical Report
本稿では，単一画像中の拡散反射物体に蛍光成分を付与
する手法を提案した．そのためには，物体表面上の各点で
分光照度を推定する必要があることを示したうえで，光源
環境や物体形状の復元を行うことなく画像から直接 3 バン
ドの分光照度を推定する手法を提案し，蛍光に関する質感
編集を実現した．実画像を用いた実験では提案手法の有効
性を確認するとともに，被写体の陰影を正確に蛍光成分に
反映させるためには，入力画像から鏡面反射の除去が必要
であることも確認した．また，照明シミュレーションへの
応用も実現した．
現在は，反射率がテクスチャごとに一様であることなど
を仮定しており照度推定に課題が残っているため，照度推
定をもっともらしくすること，鏡面反射成分を持つ物体へ
の蛍光成分の付与などが今後の予定として挙げられる．
謝辞 本研究の一部は，JSPS 科研費 JP16H01676 の助成
[1]K. Barnard, “Color constansy with ﬂuorescent surfaces”,In Proc. CIC1999, pp.257–261, 1999.
[2]C. Zhang and I. Sato, “Separating reﬂective and ﬂuo-rescent components of an image”, In Proc. IEEE CVPR2011, pp.185–192, 2011.
[3]G. Liu, D. Ceylan, and E. Yumer, “Material editing usinga physically based rendering Network”, In Proc. ICCV2017, pp.2261–2269, 2017.
[4]E. Khan, E. Reinhard, R. Fleming, and H. B¨ulthoﬀ,“Image-based material editing”, In Proc. ACM SIG-GRAPH 2006, pp.654–663, 2006.
[5]J. van de Weijer and T. Gevers, “Color constansy basedon the grey-edge hypothesis”, In Proc. ICIP 2005, PartII, pp.722-725, 2005.
c⃝ 2018 Information Processing Society of Japan4
Vol.2018-CVIM-212 No.7
2018/5/10