上次说到误差梯度的"反向传播"(Backpropagation),这次咱们从这继续.需要说明的是,原文太长,有的地方会有些冗长啰嗦,所以后面的我会选择性地进行翻译,然后附上一些思考和问题的注释,会更像读书笔记吧,这样也可以让学习过程更高效一些.
这些讨论的核心实际上是:使用另一个(或多个)神经网络去做求导的工作,至于为什么要这么做,可能就会涉及到需要对普通的微积分(黎曼积分)的局限性,函数空间等等进行讨论了,这就需要很深入的数学知识了.
2.2.2.2. Spiking networks(这个不太熟悉,虽然大概60年前就提出了)
这个部分不太熟悉,跳过一些.但里面提到的快速,慢速连接是非常赞的idea,在Bengio