很小时,L1 规范化权值要比 L2 规范化缩小得更大.最终的结果就是:L1 规范化倾向于聚集网络的权重在相对少量的高重要度连接上,而其他权重就会被驱使向

接近.

我在上面的讨论中其实忽略了一个问题 -  - 在

的时候,偏导数

未定义.原因在于函数

在

时有个直角,事实上,导数是不存在的.不过也没有关系.我们下面要做的就是应用无规范化的通常的梯度下降的规则在

处.这应该不会有什么问题,直觉上看,规范化的效果就是缩小权重,显然,不能对一个已经是

的权重进行缩小了.更准确地说,我们将会使用方程(96)(97)并约定

.这样就给出了一种紧致的规则来进行采用 L1 规范化的随机梯度下降学习.

Dropout

: