梯度下降法的核心思想就是(公式比较多,就截图了):
这一套对所有的函数 f(x)都通用,所以以导数的反方向进行搜索,就能够减小 f(x),而且这个方向还是减小 f(x)的最快的方向,这就是所谓的梯度下降法,也被称为"最速下降法",参数更新方法如下.
三人行必有 AI
有三 AI 视觉算法工程师成长指导手册
关于微积分和最优化,咱们就点到为止了,不然就超出了白身境系列的要求.要补这方面的知识,就比较多了,建议先找花书中的对应章节看看,找找感觉再说.
最优化的方法还有很多,目前在神经网络优化中常用的是一阶优化方法,不过二阶优化方法也慢慢被研究起来,最后还是给出一些关键词去掌握.
导数,偏导数,线性规划,二次规划,动态规划