各ステップでの再構成誤差。最小化することで、モデルが観測データをよりうまく生成できるように学習されます。process)の説明です。学習可能なパラメータとして扱うことができます(これは再パラメータ化により学習可能になる)か、もしくはハイパーパラメータとして固定することができます。おけるガウス条件付き分布の選択によって担保されます。form)でサンプリングできることです。具体的には、次の記法を使って説明されています。次のようにガウス分布として表現できます。持つガウス分布を表します。対する条件付き分布が導出されています。効率的な訓練このモデルでは、効率的な訓練が可能です。SGD)を用いることができるからです。次のように変形することで、さらに改善されます。間のKLダイバージェンスを表します。どれだけターゲット分布に近いかを測定するものです。間のKLダイバージェンスです。対数尤度を最大化する項です。この項は、最初のデータ(生成されたサンプル)が正しいかどうかの最終的な確認に相当します。トレーニングプロセスの各ステップで異なる種類の損失を組み合わせてモデルを最適化していくため、トレーニング全体が効率的になります。条件付けされているため、この分布は「扱いやすい」(tractable)形をしています。線形結合で表現されています。依存しており、これにより前向き過程の事後分布が定義されています。KLダイバージェンスの計算KLダイバージェンスは、2つのガウス分布間の比較を行うので、両者がガウス分布であることから、KLダイバージェンスの計算は非常に簡単になります。具体的には、2つのガウス分布間のKLダイバージェンスは、閉形式で計算可能です。これにより、計算の不確実性やばらつきが減り、モンテカルロ法を使わずに計算ができます。この計算方法は、Rao-Blackwell化された手法として知られています。Rao-Blackwell化は、確率的推定の分散を減らすために使われるテクニックで、ここではKLダイバージェンスを効率的に計算するために活用されています。これらの基礎知識を理解することで、DDPMの論文の内容がよりクリアに理解できるようになります。