### 11.9 Deep Neural Network

_Deep Neural Network_ (DNN) adalah _artificial neural network_ yang memiliki
banyak _layer_. Pada umumnya, _deep neural network_ memiliki lebih dari 3 _layers_
( _input layer_,N ≥ 2 hidden layers, _output layer_ ), dengan kata lain adalah
MLP dengan lebih banyak _layer_. Karena ada relatif banyak layer, disebutlah
_deep_. Proses pembelajaran pada DNN disebut sebagai _deep learning_ (tidak
ada bedanya dengan proses latihan pada jaringan yang lebih dangkal, ini
hanyalah istilah keren saja) [9]. Jaringan _neural network_ pada DNN disebut
_deep neural network_.^11
Perhatikan Gambar 11.11 yang memiliki 4 _layers_. Cara menghitungfinal
_output_  sama seperti MLP, diberikan pada persamaan 11.11 dimanaβ,γ,λ
adalah _noise_ atau _bias_,σadalah fungsi aktivasi.

```
fi=σ
```
#### 

#### 

#### ∑H^2

```
j=1
```
```
uj,iσ
```
#### (H 1

#### ∑

```
k=1
```
```
vk,jσ
```
#### (M

#### ∑

```
m=1
```
```
xmwm,k+βk
```
#### )

```
+γj
```
#### )

```
+λi
```
#### 

####  (11.11)

Cara melatih _deep neural network_, salah satunya dapat menggunakan _backpropagation_.
Seperti pada bagian sebelumnya, kita hanya perlu menurunkan
rumusnya saja.Penurunan diserahkan pada pembaca sebagai latihan.
Hasil proses penurunan dapat dilihat pada Gambar 11.12.
_Deep network_ terdiri dari banyak _layer_ dan _synapse weight_, karenanya estimasi
parameter susah dilakukan. Arti filosofisnya adalah susah/lama untuk
menentukan relasi antara _input_ dan _output_. Walaupun _deep learning_ sepertinya
kompleks, tetapi entah kenapa dapat bekerja dengan baik untuk permasalahan
praktis [9]. _Deep learning_ dapat menemukan relasi “tersembunyi”

(^11) Terkadang disingkat menjadi _deep network_ saja.


156 11 Feed _forward_ Neural Network

```
Gambar 11.11: _Deep Neural Network_.
```
```
Gambar 11.12: Proses latihan DNN menggunakan _backpropagation_.
```

```
11.9 Deep Neural Network 157
```
antara _input_ dan _output_, yang tidak dapat diselesaikan menggunakanmulti _layer_
_perceptron_ (3 layers). Perhatikan, kamu harus ingat bahwa satu langkah
_feedforward_  memiliki analogi dengan transformasi. Jadi, input ditransformasikan
secara non-linear sampai akhirnya pada _output_, berbentuk distribusi
_class-assignment_.
Banyak orang percaya _deep neural network_ lebih baik dibanding _neural_
_network_ yang lebar tapi sedikit _layer_, karena terjadi lebih banyak transformasi.
Maksud lebih banyak transformasi adalah kemampuan untuk merubah
_input_ menjadi suatu representasi (tiap _hidden layer_ dapat dianggap sebagai
salah satu bentuk representasi _input_ ) dengan langkah _hierarchical_. Seperti
contoh permasalahan XOR, permasalahan _non-linearly separable_ pun dapat
diselesaikan apabila kita dapat mentransformasi data (representasi data) ke
dalam bentuk _linearly separable_ pada ruang yang berbeda. Keuntungan utama
_deep learning_ adalah mampu merubah data dari _non-linearly separable_ menjadilinearly
separablemelalui serangkaian transformasi ( _hidden layers_ ). Selain
itu, _deep learning_ juga mampu mencari _decision boundary_ yang berbentuk
non-linear, serta mengsimulasikan interaksi non-linear antar fitur.
Karena memiliki banyak parameter, proses latihan ANN pada umumnya
lambat. Ada beberapa st _rate_ gi untuk mempercepat pembelajaran menggunakan
_deep learning_, misalnya: regularisasi, _successive learning_, dan penggunaan _autoencoder_
[9]. Sebagai contoh, arti _successive learning_ adalah
jaringan yang dibangun secara bertahap. Misal kita latih ANN dengan 3 _layers_,
kemudian kita lanjutkan 3 _layers_ tersebut menjadi 4 _layers_, lalu kita latih
lagi menjadi 5 _layers_, dst. Hal ini sesuai dengan [60], yaitu mulai dari hal kecil.
Ilustrasinya dapat dilihat pada Gambar 11.13. Menggunakan _deep learning_
harus hati-hati karena pembelajaran cenderung _divergen_ (artinya,minimum
_squared error_ belum tentu semakin rendah seiring berjalannya waktu– _swing_
relatif sering).

```
Gambar 11.13: Contoh _successive learning_.
```

158 11 Feed _forward_ Neural Network

