围,从而使得 𝛾 ≤ 1.梯度截断是另一种有效的启发式方法,当梯度的模大于一定
阈值时,就将它截断成为一个较小的数.
梯度消失           梯度消失是循环网络的主要问题.除了使用一些优化技巧外,更有效
                                               𝜕𝒉𝑡
的方式就是改变模型,              比如让 𝑼 = 𝑰 ,   同时令            = 𝑰 为单位矩阵,即
                                              𝜕𝒉𝑡−1
                               𝒉𝑡 = 𝒉𝑡−