Github#バッチチャネル正規化これは、論文「バッチチャネル正規化と重み標準化によるマイクロバッチトレーニング」にあるバッチチャネル正規化のPyTorch実装です。重量標準化の注釈付き実装もあります。(グループ正規化と同様)。バッチサイズが小さい場合は、バッチ正規化に実行平均と分散が使用されます。ネットワークをトレーニングするためのトレーニングコードを次に示します。BatchNorm#バッチチャネル正規化これは最初にバッチ正規化を行います。含むバッチノルムのどちらかです。次に、チャネル正規化が実行されました。super().__init__()#推定バッチノルムまたは通常のバッチノルムを使用してください。self.channel_norm(x)#推定バッチ正規化X∈RB×C×H×W入力がイメージ表現のバッチの場合、Bはバッチサイズ、Cはチャネル数、Hは高さ、Wは幅です。μ^​C​σ^C2​​⟵(1−r)μ^​C​+rBHW1​b,h,w∑​Xb,c,h,w​⟵(1−r)σ^C2​+rBHW1​b,h,w∑​(Xb,c,h,w​−μ^​C​)2​は移動平均と分散です。r指数平均を計算するための運動量です。