背景 怎么算微分.通常有三种方法. Symbolic Differentiation Numerical Differentiation Automatic Differentiation (auto diff) auto diff中两种主流的方式分别是forward-mode和reverse-mode 由于forward-mode的方法中,计算的时间复杂度是O(n)n是输入的参数个数.而reverse-mode中,计算的时间复杂度是O(m)m是输出节点的个数.在dnn中,n往往很大,远大于m,因此这里主要介绍reverse-mode auto diff方法. backprop和reverse mode auto ...