分布的ロバスト最適化モデリング
―解釈と実用への示唆―
本稿では分布的ロバスト最適化の定式化について紹介し，特に最悪ケースの期待値として与えられる目的関数の含意について再考する．またハイパーパラメータである不確実性集合の大きさに対する目的関数値の感度を導入し，正則化付き経験リスク最小化との関係やよく用いられる不確実性集合の違いを論じ，パラメータチューニングに対する示唆を示す．
キーワード：分布的ロバスト最適化，Worst-Case Sensitivity，偏差尺度，正則化
現実に現れる最適化問題では問題を記述するパラメー
タが推定値であるなど，最適化問題そのものに不確実
性が含まれることが多い．一般に，最適化問題は与え
られたパラメータに対する「最適」を目指すため，パ
ラメータの想定値が実際値と異なっていれば得られる
最適解の現実における最適性は担保されない．実際文
献 [1] では，パラメータ値の（丸め誤差のような）わ
ずかなズレが大きな実行不可能性に繋がる例を紹介し
ている．このような，事前には認知が難しい事後での
不整合に対し，最悪ケースのズレが起こったとしても
最適解の実行可能性やある種の最適性を担保しようと
する最適化モデリングがロバスト最適化である．
本稿は著者の最近の論文 [2–4] に基づき，ロバスト
最適化の中でも想定する確率分布の不確実性を考慮し
た分布的ロバスト最適化に焦点を絞り，その直感的な
含意と，そこで用いられる不確実性の大きさを表すパ
ラメータの選択について示唆を与える．詳細について
はそれら論文をご覧いただきたい．
1.分布的ロバスト最適化
目的関数が（広義の）コストの期待値で表され，そ
れを最小化する以下の最適化問題を考える．
minxEP⋆[f(x, Y)](1)
ここで EP[f] は確率分布 P の元での f の期待値を表し，
P⋆ は未知である真の分布を表す．f は決定変数（ベク
トル）x ∈ Rd だけでなく，確率変数（ベクトル）Y に
も依存する関数である．Y が確率変数のため（各 x に
ごとうじゅんや中央大学理工学部〒 112–8551 東京都文京区春日 1–13–27jgoto@kc.chuo-u.ac.jp
対して）f も確率変数であり，f 自体を最小化するこ
とは適切でない．そこで最適化に際しては (1) のよう
にその期待値を最小化するのが基本である．(1) の形
で定式化される問題はオペレーションズ・リサーチを
はじめ，統計や機械学習における推定など色々な文脈
例) 新聞売り子問題在庫管理では費用が将来の需要
や仕入れ量などに依存する．ここでは在庫管理のエッ
センスを取り込んだ古典的な新聞売り子問題を考えよ
う．今ある新聞（のようにその日に売れないと価値が
減じる商品）1 単位を原価 c で仕入れ，売れれば売値
r (> c) だけ獲得し，売れなければ q (< c) で引き取っ
てもらえるとする．また，売り切れた場合の機会費用
を s (≥ 0) としたとき，新聞売り子のコスト（≡ (−1)×
利益）は (2) のように表すことができる：
f(x, Y ) = cx − r min{x, Y }�
− q max{x − Y, 0}�
残余価値+ s max{Y − x, 0}�
ただし x (≥ 0) は仕入れ数を表す決定変数，Y が新聞
の需要を表す確率変数である．新聞売り子問題は (2)
をコストとした (1) を考える．0 ≤ q < c < r, s ≥ 0
であれば，(1) は x について凸最小化問題であり，需
要 Y の分布関数の逆関数がわかっている場合には解析
的に最適解を与えることができる．
例) ポートフォリオ選択問題手持ちの資金を d 種の株
式銘柄に分散投資する問題を考えよう．特に投資家の効
用関数が投資収益率 R に対して U(R) = − exp(−R)
で与えられるとする．d 銘柄の株価収益率を並べた収
300（24）オペレーションズ・リサーチ
益率ベクトルを Y，各銘柄への投資比率を並べたポー
トフォリオベクトルを x とするとおくと，この投資配
分比率決定問題は
f(x, Y) := exp(−Y⊤x)
をコストにした (1) として与えられる．ただし，x は
1⊤x = 1 を満たす必要があるため，制約付き問題と
例) ロジスティック回帰d 個の属性からなる入力ベク
トル a ∈ Rd から二値ラベル b ∈ {±1} が決まるとき，
n 個の入出力の標本 (ai, bi) ∈ Rd × {±1} からその決
定規則を記述する線形モデル b ← a⊤x を推定したい．
この推定法の一つであるロジスティック回帰はロジス
ティック分布に対する最尤法として記述される．これ
は対数尤度を −1 倍した最小化であり，以下の f に対
する (3) として記述される：
f(x, (a, b)) := ln�1 + exp(−ba⊤x)�
1.1標本平均近似から分布的ロバスト最適化へ
このように， (1) のような期待コスト最小化問題は
確率変数を内包する関数の最適化として頻繁に現れる．
しかしながら多くの場合，そもそも真の分布 P⋆ を知
りえないため (1) は厳密な意味では実現できない最適
化問題である．そこで，現実には (1) の目的関数を推
定したり，確率変数 Y の標本 Y1, ..., Yn を分布の台と
して，それぞれに 1/n の確率を付した経験分布により
(1) を直接近似したりすることになる．後者は標本平
均近似（以降 SAA と略す）などと呼ばれ，以下のよう
に実現できる．
�EP�f(x, Y)�:= 1
i=1f(x, Yi)�(3)
ここで P は経験分布である．もし {Y1, ..., Yn} が独立
に P⋆ に従う標本であれば，標本数 n が大きくなるにつ
れ P は P⋆ に収束していき，(3) の解 x = xSAA は (1)
の最適解 x = x⋆ に近づくことが期待できる．しかし
現実には標本数 n は増やせない（今手元にあるものの
み利用可能である）ことが多い．実際，EP⋆[f(x⋆, Y)]
に比べ，EP⋆[f(xSAA, Y)] が著しく大きくなること（要
するに SSA の解 xSAA の真の分布 P⋆ の下での劣化）
はよく観察される．このような事後パフォーマンスの
劣化は一つには未知である真の分布 P⋆ を，経験分布
P で置き換えたことに起因していると考えられる．
そこで，経験分布 P を信じすぎないように分布の不
確実性を考慮しつつ，事後パフォーマンスの向上を目
指す定式化の変更が考えられている．有名なものとし
て，機械学習などの分野でよく用いられる正則化付き
SAA がある．これは (4) のように，SAA に加え正則
化項と呼ばれる項も同時に小さくするように (3) を変
更した形をとる：
i=1f(x, Yi) + Cx⊤x�
ここで C ≥ 0 は標本データに依存しない正則化項の係
数定数であり，これが大きいほど SAA の最小化への
依存を小さくすることを意味する．C = 0 のとき (4)
は (3) に一致することから，うまく C を決めることで，
(4) の解は SAA 解 xSAA よりも事後パフォーマンスが
良くなることが期待できる．
機械学習では標本を部分的に採用する，交差検証法
やブートストラップ法といった再標本法を用いて疑似
的に分布の不確実性をシミュレートすることで C を決
定し，事後パフォーマンスの向上を図ることが多い．
また正則化項では (4) の x⊤x 以外にも，�dj=1 |xj| な
ど，いくつかバリエーションがある．一方で，正則化
項は決定変数の自由度を制限することや変数ベクトル
の非ゼロ要素数削減，計算の容易さが主眼であり，そ
の関数形自体の意味は二の次といった観がある．
一方で，本稿で扱う分布的ロバスト最適化（以降 DRO）
は，経験分布 P の不確実性を集合で表し，その集合の
中で最悪ケースの期待コストの最小化を目指す．具体
的には，ありうる分布の集合を Q で表し，
minxmaxQ∈Q EQ[f(x, Y)](5)
なる最適化問題を考える．一般には x の制約条件に期
待値を含む場合など色々拡張が考えられるが，本稿で
は目的関数にのみ期待値が含まれている状況を考える．
この時点では，(5) を考えることが，果たして x⋆ に
近づくのかどうか不明である．結論からいえば，多く
の場合についてそれを期待する根拠はほとんどない．
さて，(5) で前提となる分布の集合 Q を本稿では不
確実性集合と呼ぶ．Q は一般性を失うことなく凸集合
に限定してよいが，依然大きな自由度がある．本稿で
は主として分布 Q の P からの差を測るダイバージェ
ンス d を用い
Q(ε) = {Q : d(Q|P) ≤ ε}(6)
のように与えられるケースを考える．d としては φ-ダ
イバージェンスと Wasserstein 距離を用いるケースに
2021 年 5 月号（25）301
図 1関数 φ の例
焦点を絞る．
ちなみに，(5) の目的関数部分である最悪コストを
ρ[f] := maxQ∈Q EQ[f](7)
と置くと，ρ[f] は以下の性質を満たすことが簡単に確
かめられる：
• 単調性：f1 ≤ f2 ならば ρ[f1] ≤ ρ[f2]
• 正 1 次同次性：A > 0 に対し ρ[Af] = Aρ[f]
• 劣加法性：ρ[f1 + f2] ≤ ρ[f1] + ρ[f2]
• 平行移動不変性：定数 B に対し ρ[f+B] = ρ[f]+B
このような性質は確率変数で表されるコスト f の忌諱
度を定量化する関数として，金融工学ではコヒレント
リスク尺度 [5] の公理として知られる．逆に，上記の
性質を満たすリスク尺度は分布の集合 Q を用いて (7)
のように最悪ケースの期待コストとして表すことがで
きることが知られている．
代表的なコヒレントリスク尺度として知られるのが
CVaR [6] であり，n 標本上の確率分布 p に対しては
QCVaR(α) :=�q ∈ Rn �� 1⊤q = 1, 0 ≤ q ≤1
1 − αp�
で与えられる Q によって特徴づけることができる．こ
の Q について本稿では Q(ε) = QCVaR(ε
1+ε) とパラ
メータを置き換え，予算型と呼ぶ．
1.2φ-ダイバージェンス
z = 1 で最小値 0 をとる非負の凸関数 φ(z) に対して
以下のように定義されるダイバージェンスを Csisz´ar
の φ-ダイバージェンスと呼ぶ：
Hφ(Q | P) :=
ipi φ�qi
�,1⊤q = 1, q ≥ 0,
+∞,その他.
定義より， qi
pi = 1 すなわち qi = pi のとき φ( qi
pi ) = 0
であり，qi ̸= pi であれば φ( qi
pi ) ≥ 0 となることか
ら，q が p と異なるときのみ Hφ(Q | P) は正となりう
る．φ(z) = z ln z − z + 1 のときは �
ipiφ�qi
iqi ln qi
pi となり Kullback-Leibler ダイバージェンス
に一致するなど，φ を変えることで色々なダイバージェ
ンスを包含する（図 1）．ちなみに，φ は値域として
+∞ も含むことを許容することで，区間 I に対する指
δI(t) =
⎩0,t ∈ I,
∞,t ̸∈ I,
を用い，I = [0,1
1−α] とすれば，任意の正数 η > 0 に
対して Q(η) = QCVaR(α) となる．
また，τ ∈ [0, 1] に対して I = [1 − τ, 1 + τ(α
1−α)] と
すれば，(7) で Q = Qc(τ) := (1−τ){p}+τQCVaR(α)
とした最悪コストになる．ちなみに Q = Qc(τ) のとき
(7)(ρ(f) ≡ ρ[f]) は P ≡ p の下での期待コスト Ep(f)
と CVaRp,α(f) の凸結合に一致する．
1.3Wasserstein 距離
近年機械学習などで興味をもたれているのが，いわ
ゆる輸送問題に着想を得た分布間の距離尺度である
Wasserstein 距離である．本稿では分布の台を標本の
値に限定しない連続型分布 Q ≡ γ(·) と，離散型分布
である経験分布 P ≡ p の間の距離に限定してこれを考
える．このとき Wasserstein 距離は以下のように表さ
d(Q|P) =
z∥z − Yi∥pγi(dz)
s. t.�
zγi(dz) = pi, i = 1, ..., n,
γi(dz) ≥ 0
図 2 に示すように，直感的には，P から Q へと確率を
移動する輸送問題を考え，単位輸送費用が ∥z − Yi∥p
で与えられた場合の最小輸送費用がダイバージェンス
302（26）オペレーションズ・リサーチ
図 2一般化した輸送問題としての Wasserstein 距離
d(Q|P) を与える．
φ-ダイバージェンスを用いた分布 Q の分布の台が P
のそれに限定される（すなわち Y は実現値 Y1, ..., Yn
のいずれかであるの）に対し，Wasserstein 距離を用
いると Q の分布の台は限定されない．現実の分布は過
去の実現値以外で起こるのが普通であるし，連続分布
を扱えることから Wasserstein 距離の方が（少なくと
も分布の台について）柔軟性があり，現在盛んに研究
がなされている．
たとえば文献 [7] に依れば，ロジスティック回帰に対し
(ai, bi) から (a, b) への輸送費用を c((ai, bi), (a, b)) =
∥ai − a∥2 + κ|bi − b| とする（ただし κ ≥ 0 は属性 a に
対するラベル b の輸送費用の相対的重み定数）と，ロジ
スティック回帰の DRO は凸計画問題に帰着できる：
minimizeλ,s,xελ + 1
subject to
si ≥ ln�1 + exp(−bia⊤i x)�,i ∈ [n],
si ≥ ln�1 + exp(bia⊤i x)�− κλ, i ∈ [n],
λ ≥ ∥x∥2
ただし ∥x∥2 :=√
x⊤x. 特に κ → ∞ のとき，属性の
不確実性のみ考慮され，次の正則化付き SAA に一致
minimizexε∥x∥2 + 1
i=1ln�1 + exp(−bia⊤i x)�(8)
これは（適当な輸送費用の下）Wasserstein 距離を用
いた DRO が正則付きロジスティック回帰と一致し，
DRO が正則化の解釈を与えることを示している．
2.最悪ケースの意味
最悪ケースの期待コスト (7) は不確実性集合 Q に依
存し，Q の代表的な与え方にも色々あることを見てき
た．素朴な疑問として Q の違いが最悪ケースにどの
ような含意をもたらすのだろうか？ 既に見たように，
最悪ケースの期待コスト ρ[f] はコヒレントリスク尺度
であるので，ρ の形を比較するのが一つである．しか
し DRO では Q が ε に依存しており，データや応用例
ごとに ε のチューニングの必要が生じる．たとえば，
Q = QCVaR(α) とすれば ρ[f] は CVaR であることを
紹介したが，金融実務で CVaR でリスク計測をする状
況でパラメータ α は 0.95 とか 0.99 といった数値（統
計的検定における信頼水準のようなもの）で固定して
用いるため，データに合わせるチューニングは通常行
われない．その意味で，形式的には同じものを眺めて
いるにも拘らず DRO におけるパラメータの決定は金
融工学では対象となり難い問題であることを注意して
本節では, なぜ「最悪ケース」を考える必要があるの
か？ あるいは，そもそも異なる Q 上での「最悪ケース」
を考える含意は何なのかを考える．なお以降では簡単
のため，経験分布を念頭に離散型の確率分布 P ≡ p を
2.1滑らかな φ-ダイバージェンスの場合
はじめに φ′′(1) > 0 を満たすような，z = 1 付近で
狭義凸であるような φ を用いた φ-ダイバージェンス
を用いて Q を定義する場合について考えよう．このと
き，十分小さい ε > 0 に対し，以下の関係が成り立つ：
Eq(ε)(f) = Ep(f) + √
2Vp(f)
φ′′(1) + o(√
ここで，q(ε) は (7) を達成する最悪ケースの分布であ
る．このことは十分滑らかな φ であればどんな φ-ダ
イバージェンスであっても，ε > 0 が十分小さければ，
DRO の目的関数値 ρ[f] は SAA と標準偏差の重み和
で近似できることを示している．たとえば修正 χ2-ダ
イバージェンス φ(z) = 1
2(z − 1)2 の場合は十分小さい
ε に対し次式が成り立つ：
Eq(ε)(f) = Ep(f) + √
2Vp(f)
文献 [8] ではこの関係をベースに DRO に基づく推定
を f(x, Y) の標準偏差を正則化項とした正則化付き経
験的リスク最小化と見なして，事後的な期待コストに
対する理論的な下限を示している．（ロジスティック回
帰に Wasserstein 距離を用いた DRO では直接的に正
則化項が得られたことも併せると）f の関数形にも依
存するが，標準偏差が (4) の正則化項（の平方根）と似
たような役割を果たすのではという期待も生じてくる．
以降ではその関係が f に強く依存することを見る．
WCS まず不確実性集合 Q が (6) のように与えられ
2021 年 5 月号（27）303
るとき，最悪ケースの目的関数 (7) が ε について単調
増加な凹関数であることに注意する．そこで ε の増加
に対する増加が最も大きい ε = 0 付近の傾きを Worst-
Case Sensitivity（以降 WCS）として定義する．具体
的には凹で単調増加，かつ，g(0) = 0 であるような g
に対し，V (ε) − V (0) ∼ O(g(ε)) のとき，WCS を
SP[f] = limε↓0
maxQ∈Q(ε) EQ[f] − EP[f]
で定義する．このとき ε > 0 に対して
maxQ∈Q(ε) EQ[f] = EP[f] + g(ε) SP[f] + o(g(ε))
であり，ε が十分小さければ，DRO の目的関数が経
験的な期待値と WCS の加重和で近似できることがわ
2.2滑らかでない場合
次に z = 1 で微分ができないような例として φ(z) =
|z − 1| であるような，P ≡ p に対する φ-ダイバージェ
ンスのケースを考えよう．このとき WCS は
Sp(f) = 1
2�max(f) − min(f)�
となり，分布のレンジ（最大値と最小値の差）が WCS
に対応している．
φ が変わったことで異なる WCS が得られたが，こ
れら（標準偏差とレンジ）に共通しているのはいずれ
も f の分布のばらつきを定量化した概念であるとい
うことである．この概念を公理としてまとめたものが
偏差尺度 [9] である：確率変数 f に対し以下を満たす
（汎）関数 D を f の偏差尺度 (generalized measure of
deviation) と呼ぶ：
1. D[f] ≥ 0 であり，D[f] = 0 と “f が定数” が等価
2. 任意の非負定数 A ≥ 0 に対し D[Af] = AD[f]
3. 任意の定数 B ∈ R に対し D[f + B] = D[f]
標準偏差もレンジもこれらの性質を満たしていることが
簡単に確認できる．一般的に WCS は偏差尺度である．
関数 φ が指標関数である例についても WCS を求め
ておく．まず CVaR と関連付けられる Q = QCVaR(α)
については WCS が以下のように計算される1:
1 ちなみに最悪コストである CVaR は α について凹ではないが，ε =α
1−α とパラメータを置き換える，すなわちQ(ε) = QCVaR(1
1+ε) とすると，
Q(ε) =�q ∈ Rn ���
i=1piδ[0,1+ε]� qi
� ≤ 1, 1⊤q = 1�
図 3さまざまな偏差尺度1．は標準偏差，2．はレンジ，3．は下半レンジ（期待値と最小値の差），4．は CVaR 偏差
Sp(f) = Ep(f) − min(f)
これも偏差尺度であるが，コスト分布の左側の偏差を
定量化したものといえる（図 3 の 3．）．
平均と CVaR の凸結合の WCS については τ につ
いての感度を考えることで以下を得る：
Sp(f) = CVaRp,α(f) − Ep(f)
ここで右辺は CVaR 偏差と呼ばれる偏差尺度で，上位
100(1 − α)％のコストの条件付期待値と（全体の）期
待値の差にほぼ等しい（図 3 の 4．）．
2.3Wasserstein DRO の WCS
Wasserstein DRO については φ-ダイバージェンス
と異なり輸送費用 c(z, Yi) = ∥z − Yi∥p に依存する．
そのため WCS も輸送費用に依存する．またコスト
f(Y) := f(x, Y) が Y について, ある L が存在して任
意の Z, Y に対し f(Z) − f(Y) ≤ L∥Z − Y∥p とする．
このとき WCS は
SP[f] =maxi=1,··· , n maxZif(Zi) − f(Yi)
∥Zi − Yi∥p.
すなわち，Zi と Yi の輸送費用あたりのコスト f の変
化の最大のものが WCS となる．
1.3 節の最後に紹介したように，ロジスティック回帰
に DRO を適用した場合は正則化付き SAA(8) が得ら
れる．また，文献 [10] に依れば，期待収益率に対する
ポートフォリオ選択でもポートフォリオベクトルに対
する正則化が得られることが主張されている．しかし
ながら，Wasserstein 距離を用いた DRO すべてがそ
のように単純な正則化に帰着されるわけではない．た
とえば新聞売り子問題において x ∈ (mini Yi, maxi Yi)
とする．このとき p = 1 の Wasserstein 距離を用いた
場合の WCS は
304（28）オペレーションズ・リサーチ
図 4新聞売り子問題 (s = 4) におけるコストの分布
図 5s = 4 の新聞売り子問題に対する二つの平均–感度プロット（左が滑らかな φ の感度，右が予算型の感度）
SP[f(x, Y )] = max{r − q, s}
すなわち，WCS が x に依存しない．結果，DRO と
SAA の解が一致してしまう．つまり，新聞売り子問題
に対して Wasserstein DRO は SAA の結果を「ロバス
ト」化しない．これらの結果より，Wasserstein DRO
が正則化と関連づけられるかどうかや，SAA 解をロバ
スト化できるかどうかはコスト f の関数の形状といっ
た適用対象の性質に依存することがわかる．
2.4不確実性集合による差異
ここまでに，異なる Q（あるいは φ）が異なる WCS
を与えることを見た．ではそれらは明確な違いとなっ
て現れるのだろうか? 図 4 は s = 4 である新聞売り子
問題に対して SAA と，修正 χ2 および予算型の φ-ダ
イバージェンスによる DRO で得られたコストの分布
（を密度推定した結果）である．
修正 χ2DRO がコスト 0 付近の密度が高い部分にお
いて SAA よりもばらつきを大きくしつつ，右裾にあ
るコブを左にシフトさせる，すなわち最大コストを下
げる結果を導いているのに対し，予算型 DRO では右
裾の最大コストを微増させつつも高密度部分のばらつ
きを小さくしている．これは前者の WCS である標準
偏差が全体的なばらつきを捉え，全体の広がりを抑え
ようとするのに対し，後者の WCS がコスト分布の下
側のばらつきを抑えようとしている違いから生じてい
ると考えられる．
図 5 は同じの新聞売り子問題において，各 DRO の
不確実性集合のサイズ ε を変えながらコストの平均値
（縦軸）と 4 種類の WCS（横軸）をプロットしたもの
である．予算型 DRO のみ ε を大きくしていった際に，
ほかの DRO と異なる方向を示していることがわかる．
一方，図 6 は s = 0 と変更した（その他のパラメー
タは不変の）場合についての同様のプロットである．
図 5 と異なり，いずれの DRO でもほぼ同一の効率的
フロンティアが描かれており，不確実性集合による大
きな差異は見られない．
2021 年 5 月号（29）305
図 6s = 0 の新聞売り子問題に対する二つの平均–感度プロット（左が滑らかな φ の感度，右が予算型の感度）
このように同じ問題であってもパラメータが変わる
ことでコスト f の関数形（x や Y に対する依存の仕
方）が変わるために，DRO の振る舞いに差異が現れ
たり消滅したりすることがわかる．これらの観察から
も，適用例（におけるコスト f）に応じて適切に不確
実性集合（あるいは DRO の種類）を選ぶ必要がある
ことが示唆される．その際に WCS は該当する DRO
が考慮するロバスト性がどのようなものであるかを明
示的に与えてくれるので一定のヒントになるかもしれ
3.不確実性パラメータの選択
仮に不確実性集合を選択したとしても，不確実性集
合の大きさを表すハイパーパラメータ ε をどのように
設定すべきか考える必要がある．以下では経験分布の
標本によるばらつきを考慮した ε の決定法に関する理
論的結果を紹介する．
分析の簡単化のため，φ が十分滑らか (φ′′(1) > 0)
なケースを考え，かつ，(5) の代わりに罰則型の DRO
で，x について制約がない場合を考える：
minxmaxQ
�EQ[f(x, Y)] − 1
δ Hφ(Q|P)�(9)
ここで δ > 0 は ε に代わる罰則パラメータであり，ε
と同様に，δ が大きいほど不確実性集合が大きいこと
を意味することに注意しておく．
Y1, . . . , Yn を真の分布 P⋆ からの i.i.d．標本とし，
この経験分布に基づく DRO の解を x(δ) と記す．なお
x(0) は SAA (3) の解に一致する．このとき，P⋆ から
新たに生成される Yn+1 に対する x(δ) の振る舞いが興
味の対象である．
DRO (9) の WCS は f の分散になり，δ が小さけれ
ば目的関数はコストの期待値と分散の 2 目的最適化で
近似できることを示すことができる [3]．そこで，
• μn(δ) := EP⋆[f(x(δ), Yn+1)]事後の期待コスト
• vn(δ) := VP⋆[f(x(δ), Yn+1)]事後の WCS
dδ (0) = − ρ
2n,(10)
dδ (0) = −2
φ′′(1)β⊤H(0)−1β + θ
2n,(11)
が得られる．ここで ρ, θ は定数であり，
H(0) := EP⋆[∇2xf(x⋆(0), Yn+1)],
β := CovP⋆[∇xf(x⋆(0), Yn+1), f(x⋆(0), Yn+1)]
ρ は正にも負にもなりえる．正であれば，（δ が小さ
いとき）DRO の方が SAA よりも低い期待コストを達
成する，すなわち，DRO が SAA の結果を改善するこ
とが (10) より示唆される．
ただし，標本数 n で除されているため，標本が増え
るほどその改善効果は消滅に向かう．一方，f(x, Y) が
x について狭義凸であれば，H(0) は正定値であるため，
β⊤H(0)−1β > 0 であり，φ′′(1) > 0 と併せると (11)
の第 1 項は負である．一方第 2 項は標本が増えれば
消滅に向かう．したがって，標本数がある程度あれば，
DRO は SAA よりも分散を小さくする一方，平均を改
善する効果は限定的であることがわかる．これらのこ
とから，DRO (9) において SAA に対応する δ = 0 か
ら不確実性パラメータを増加させていった際, 事後的
な期待値の減少よりも，WCS である分散の減少の方
が支配的になる．その意味で，DRO を採用するとい
うことの事後的なご利益は，期待コストを下げる効果
306（30）オペレーションズ・リサーチ
図 7Kullback-Leibler ダイバージェンスによるロジスティック回帰の DRO に対するブートストラップ・シミュレーションと事後テストに対する平均・分散プロットWDBC データセットの 30 ある属性のうち三つ（2, 24, 25 番目）の半分の標本に対してブートストラップ法を 20 回適用し，平均の平均と分散の平均のプロットと，得られた解に対して残りの半分の標本に基づく平均と分散のプロット
ではなく，ばらつきを抑える効果に見出せることがわ
図 7 はロジスティック回帰に対し DRO (9) を適用し
た場合にあるデータセットの半数の標本を用いたブー
トストラップ法によるコストの平均・分散プロットと，
経験的な DRO の解を残りの半数に適用して計算され
る平均・分散プロットを示した例である．なおここでは
尤度最大化の観点から縦軸は対数尤度である (−1) × f
であり，上に行くほど尤度が大きく好ましいことを意
味する．通常の対数尤度最大化である SAA (δ = 0) を
出発点とし δ を増加させたときに，対数尤度（垂直方
向）がほとんど変化しない一方で，WCS である分散
（水平方向）は大きく減少していること，そして，テス
ト標本においても同様の傾向が見て取れることがわか
る．上記の理論は特に前者の現象が一般的に成り立つ
ことを示している．
このように，DRO の定式化を吟味すると，パラメー
タ δ（あるいは ε）を選択するにあたっては，（正則化
付き SAA (4) でよく採用されるような）コストの平均
が最小になるような選択ではなく，ばらつきや WCS
の減少を考慮に入れることが定式化に則していること
謝辞研究 [2, 3] は科研費 19H02379，19H00808，
20H00285 の助成を部分的に受けて実施されています．
[1] A. Ben-Tal and A. Nemirovski, “Robust solutionsof linear programming problems contaminated withuncertaindata,”MathematicalProgramming,88,pp. 411–424, 2000.[2] J. Gotoh, M. J. Kim and A. E. B. Lim, “Worst-casesensitivity,” arXiv（投稿中）．[3] J. Gotoh, M. J. Kim and A. E. B. Lim, “Calibra-tion of distributionally robust empirical optimizationmodels,” Operations Research（掲載予定）．[4] J. Gotoh, M. J. Kim and A. E. B. Lim, “Robustempirical optimization is almost the same as mean–variance optimization,” Operations Research Letters,46, pp. 448–452, 2018.[5] P. Artzner, F. Delbaen, J. M. Eber and D. Heath,“Coherent measures of risk,”. Mathematical Finance,9, pp. 203–228, 1999.[6] R. T. Rockafellar and S. Uryasev, “Optimization ofconditional value-at-risk,” Journal of Risk, 2, pp. 21–42, 2000.[7] S. Shaﬁeezadeh-Abadeh, P. Mohajerin Esfahani andD. Kuhn, “Distributionally robust logistic regression,”In Advances in Neural Information Processing Sys-tems, pp. 1576–1584, 2015.[8] J. C. Duchi and H. Namkoong, “Variance-based reg-ularization with convex objectives,” Journal of Ma-chine Learning Research, 20, pp. 1–55, 2019.[9] R. T. Rockafellar, S. Uryasev and M. Zabarankin,“Generalized deviations in risk analysis,” Finance andStochastics, 10, pp. 51–74, 2006.[10] J. Blanchet,L. Chen and X. Y. Zhou,“Dis-tributionally robust mean-varianceportfolio selec-tion with Wasserstein distances,”arXiv preprint,arXiv:1802.04885, 2018.
2021 年 5 月号（31）307