### 11.12 Vanishing and Exploding Gradients

Pada beberapa kasus, nilai gradien (∆W- perubahan parameter) sangat kecil
(mendekati nol - _vanishing_ ) atau sangat besar ( _explode_ ).Vanishing gradient
problemumum terjadi untuk ANN yang sangat dalam ( _deep_ ), yaitu
memiliki banyak _layer_. Hal ini juga terjadi pada arsitektur khusus, seperti
_recurrent neural network_  saat diberikan input yang panjang [63]. Turunan
suatu fungsi bernilai lebih kecil dari fungsi tersebut. Artinya nilai gradient
pada _input layer_ bernilai lebih kecil dari _output layer_. Apabila kita memiliki
banyak _layer_, nilai gradient saat _backpropagation_ mendekati nol ketika diturunkan
kembali dalam banyak proses. Ilustrasi _vanishing gradient_ diberikan
pada Gambar 11.14 (analogikan dengan _heat map_ ). Saat melakukan _backpropagation_,
nilai gradien menjadi mendekati nol (warna semakin putih, delta nilai
semakin menghilang). Penanganan permasalahan ini masih merupakan topik
riset tersendiri. Sebagai contoh, pada arsitektur _recurrent neural network_, biasanya
digunakan fungsi aktivasi _long short term memory_ (LSTM) ataugated
_recurrent_  unit(GRU) untuk menangani _vanishing gradient problem_. Selain

(^14) https://gist.github.com/yusugomori/cf7bce19b8e16d57488a


```
11.13 Rangkuman 161
```
nilai gradien, nilai _synapse weights_ juga bisa sangat kecil atau sangat besar.
Hal ini juga tidak baik!

```
Gambar 11.14: Ilustrasi _vanishing gradient problem_.
```
