x^には影響しないことに注意してくださいb。したがって、bトレーニングを更新するたびに増加または減少し∂x∂L​、無期限に成長し続けます。この論文は、同様の爆発にはばらつきがあると述べています。バッチ正規化ホワイトニングは、相関をなくす必要があり、勾配がホワイトニングの計算全体を通る必要があるため、計算量が多くなります。この論文では、バッチ正規化と呼ばれる簡略版を紹介しています。0、単位分散になるように正規化することです。x=(x(1)...x(d))-次元の入力です。目の簡略化は、E[x(k)]データセット全体の平均と分散を計算するのではなく、Var[x(k)]ミニバッチからの平均と分散の推定値を正規化に使用することです。各特徴量を平均ゼロと単位分散に正規化すると、レイヤーが表現できる内容に影響する可能性があります。例示しているように、シグモイドへの入力が正規化されると、[−1,1]そのほとんどはシグモイドが線形である範囲内になります。つのパラメーターとで調整します。β(k)y(k)=γ(k)x^(k)+β(k)ここでy(k)、はバッチ正規化層の出力です。Wu+b線形変換のような線形変換の後にバッチ正規化を適用すると、b正規化によりバイアスパラメータがキャンセルされることに注意してください。そのため、バッチ正規化の直前に線形変換のバイアスパラメータを省略することができ、また省略すべきです。バッチ正規化では逆伝播が重みのスケールに対して不変になり、経験的にジェネラライズが改善されるため、正則化効果もあります。正規化を実行するにはE[x(k)]Var[x(k)]、とを知る必要があります。調べて平均と分散を求めるか、トレーニング中に計算された推定値を使用する必要があります。通常は、トレーニング段階で平均と分散の指数移動平均を計算し、それを推論に使用します。分類器をトレーニングするためのトレーニングコードとノートブックです。Module#バッチ正規化レイヤーバッチ正規化層は、BNX次のように入力を正規化します。X∈RB×C×H×W入力がイメージ表現のバッチの場合、Bはバッチサイズ、Cはチャネル数、Hは高さ、Wは幅です。入力が埋め込みのバッチの場合、X∈RB×Cはバッチサイズ、BCはフィーチャの数です。BN(X)=γBVar​[X]+ε​X−BE​[X]​+βX∈RB×C×L入力がシーケンス埋め込みのバッチの場合、Bはバッチサイズ、Cはフィーチャ数、Lはシーケンスの長さです。実装と同じ名前を使用しようとしました。