)  -  - 单元j
的实际输出.
tj
 -  - 单元j
的目标输出.
σ
 -  - Sigmoid函数.
outputs
 -  - 输出层单元的集合.
增量梯度下降法的主要特点是对于每个训练样本d
,利用关于这个样本的误差Ed
的梯度来修改权值.换言之,对于每个训练样本d
每个权值wji
被增加△wji
:
(15-20)
其中,Ed
是训练样本d
的误差,通过对输出层所有单元的求和得到:
(15-21)
其中,tk
是输出层单元k
对于训练样本d
的目标输出值,ok
是以训练样本d
作为输入时第k
个输出层单元的实际输出.
现在摆在面前的问题是要导出一个
Ed
/
wji
的表达式.注意到权值wji
仅能通过netj
影响网络的其他部