元のGAN損失は、実際の分布と生成された分布の間のジェンセン・シャノン(JS)の相違に基づいています。GANは、これらの分布間のアースムーバーの距離に基づいています。Π(Pr​,Pg​)は、限界確率が以下のすべての共同分布の集合です。したがってW(Pr​,Pg)、Pr​実際の分布と生成された分布の間の任意のジョイント分布における最小地球移動距離に等しくなります。Pg​この論文は、2つの確率分布の差に対するジェンセン・シャノン(JS)ダイバージェンスやその他の測定値がスムーズではないことを示しています。したがって、(パラメータ化された)確率分布の1つで勾配降下を行っても収束しません。カントロヴィッチとルビンスタインの二元性に基づいて、W(Pr​,Pg​)=∥f∥L​≤1sup​Ex∼Pr​​[f(x)]−Ex∼Pg​​[f(x)]∥f∥L​≤11-Lipschitz関数はどこにありますか。Ex∼Pr​​[f(x)]−Ex∼Pg​​[f(x)]すべての1-Lipschitz関数の中で最大の差に等しいということです。cdotW(Pr​,Pθ​)=w∈Wmax​Ex∼Pr​​[fw​(x)]−Ez∼p(z)​[fw​(gθ​(z))]gθ​これで収束させるには、Pr​θ上記の式を最小化するように勾配降下できます。同様に、maxw∈W​K境界を保ちながら上昇することで見つけることができます。wK境界を維持する1つの方法は、fある範囲内でクリッピングを定義するニューラルネットワーク内のすべてのウェイトをクリップすることです。生成実験で試すコードを次に示します。fw​(gθ​(z))これにより、fw​(x)fw​(gθ​(z))とが失われたタプルが返されます。このタプルは後で追加されます。これらはロギング用に別々に保管されます。torch.Tensor):#f∈[−1,+1]RelUSを使って損失をクリッピングしてレンジをキープします。θEx∼Pr​​[fw​(x)]−Ez∼p(z)​[fw​(gθ​(z))]最小化したい最初のコンポーネントは独立しているのでθ、最小化します。