我们可以去掉S形曲线来解决局部最优问题,然后只让每个神经元输出其输入量的加权和.这样做会使误差变得非常平缓,只剩下一个最小值 -  - 全局最小值.虽然如此,问题是线性函数的一个线性函数也只是一个线性函数,那么线性神经元的一个网络与单个神经元几乎一样.一个线性大脑,无论多大,总比一条线虫要笨.S形曲线是线性函数非智能性和阶跃函数难解性的完美中转站.
感知器的复仇
反向传播于1986年是由加州大学圣迭戈分校的心理学家大卫·鲁梅尔哈特在杰夫·辛顿以及罗纳德·威廉斯的协助下发明出来的.他们表明反向传播还可以学习XOR,这让联结学派对明斯基和派普特嗤之以鼻.回顾之前耐克的例子:年轻男性和中年妇女最有可能购买耐克鞋.其中,我们可以用三