误差项 𝛿 的反向传播公式为 𝛿(𝑙−1) = (𝑾 (𝑙) )T 𝛿(𝑙) .为了避免梯度消失或梯度爆炸
问题,我们希望误差项在反向传播中具有范数保持性(Norm-Preserving),即
                                                                                    1
‖𝛿(𝑙−1) ‖2 = ‖𝛿(𝑙) ‖2 = ‖(𝑾 (𝑙) )T 𝛿(𝑙) ‖2 .如果我们以均值为 0,方差为                             的高斯分