2020年10月2日 晚上
269 字 3 分钟 次
梯度下降法即沿着训练集的梯度方向下降.随机梯度下降(stochastic gradient descent:SGD)按照数据生成分布抽取 mmm 个小批量(独立同分布的)样本,通过计算它们的梯度均值,从而得到梯度的无偏估计;然后随机梯度下降算法沿着随机挑选的小批量数据的梯度下降方向,能够很大程度加速梯度下降的过程.
2. 思路
2.1 梯度下降
第 ttt 次迭代时:
Wt=Wt−1−η∂L∂Wt−1\begin{array}{c} \boldsymbol{W}_t = \boldsymbol{W}_{t-1} - \eta \frac{\partial L}{\