ニューラルネットワークのディープラーニング(深層学習)手段として定着して行きました。ニューラルネットワークを実装する際にはこの振舞を利用した誤差逆伝播法が不可欠ですので、忘備録の意味も兼ねてこのページにまとめておきましょう。図1に示すような二層ニューラルネットワークについて考えてみましょう。入力状態\(x_0\),\(x_1\)、中間層の状態\(h\)、出力状態\(E\)としています。最小にするような重みやバイアスを求めることがニューラルネットワークの学習に相当します。dh\)が\(dE\)へどように伝わって行くかは(1)式および(2)式で表されます。入力層の変化に対する出力層の変化の割合になっていることがわかります。errors)と呼ばれています。様々な演算の誤差逆伝播ここでは、ニューラルネットワークで一般的に使用される演算について、誤差逆伝播についてまとめておきます。いう関係から、誤差逆伝播は下流の勾配が上流側に通過して行くだけです。これは加算演算する状態変数の数が増加しても同じことになります。いう関係から、誤差逆伝播は下流の勾配に乗算する相手の変数を乗算するだけです。