### 12.4 Resisting Perturbation

Pada subbab sebelumnya, telah dijelaskan bahwa mencapai performa 100%
(100% rekonstruksi) pada _autoencoder_ adalah hal yang tidak diinginkan. Hal
ini disebabkan karena kita ingin menghindari _autoencoder_ semata-mata hanya
mempelajari _trivial identity function_ [11], memiliki analogi denganone-toone
mapping. Misalnya, suatu gambar kuda dipetakan ke _coding_ c, kemudian
gambar kuda lainnya dipetakan ke _coding_ ˆc, danˆctidak mirip denganc, i.e.,
_cosine similarity_ -nya jauh. Artinya kita ingin _autoencoder_ merepresentasikan
dua hal yang mirip ke dalam bentuk representasi _coding_ yang mirip juga!
Walaupun kita ingin performa _autoencoder_ tidak mencapai 100%, tapi kita
masih ingin performanya dekat dengan 100%.
Tujuan utama _autoencoder_ adalah mengekstraksi informasi penting tentang
_data_  yang ada (seperti _principal components_ ), bukan replikasi semata.
Dengan alasan ini, _coding_ pada umumnya memiliki dimensi lebih rendah
dibanding _input_. Kita sebut arsitektur ini sebagai _undercomplete autoencoder_.
Apabila _coding_ memiliki dimensi lebih besar dari _input_, disebut sebagaiovercomplete
_autoencoder_ –yang kemungkinan besar hanya mempelajaritrivial
identity function[11]. Kita dapat menggunakan teknik regularisasi
pada _autoencoder_ untuk memastikan tujuan kita tercapai, misal
_sparse autoencoder_, _denoising autoencoder_ dan _penalizing derivaties_ [11]. Untuk
mengilustrasikan permasalahan, buku ini membahas _denoising autoencoder_ (silahkan
baca buku [11] untuk teknik regularisasi lainnya).
Diberikan suatu _input_ x, kemudian kita lakukan _noise-injection_ terhadap
_input_ tersebut, menghasilkan ̃x. Perhatikan Gambar 12.3, kita ingin _encoder_
memberikan bentuk _coding_ yang mirip bagixdan ̃x. Kita ingin memaksa _autoencoder_ untuk
mempelajari sebuah fungsi yang tidak berubah terlalu jauh
ketika _inputs_ edikit diubah. Hal ini disebut sebagai sifat _resistance to perturbation_.
Performa _autoencoder_ yang bernilai 100% berbahaya karena _autoencoder_ tersebut
belum tentu mampu mempelajari sifat data, melainkan
mampu “mengingat” _training data_ saja ( _mapping table_ ). Objektifdenoising
_autoencoder_ diberikan pada persamaan 12.9, yaitu kemampuan merekonstruksi
kembali data tanpa _noise_.

```
E(θ) =
```
#### 1

#### N

#### ∑Z

```
j=1
```
#### (

```
xi[j]−f( ̃xi,θ)[j]
```
#### ) 2

#### (12.9)


170 12 Auto _encoder_

```
Gambar 12.3:Resisting Perturbation.
```
Gambar 12.4: _Autoencoder_ yang memiliki sifat _resistance to perturbation_,
yaitu invarian terhadap sedikit perubahan.

```
Gambar 12.5:Mani _fold_ s.
```
Implikasi atau tujuan dari persamaan 12.9 diberikan pada Gambar 12.4
yang mengilustrasikan _invariant to slight changes_. Diberikan data dengan dis-

(^8) https://jaan.io/what-is-variational- _autoencoder_ -vae-tutorial/


```
12.5 Representing Context: Word Embedding 171
```
tribusi aslip _data_, dan data yang sudah terkena _noise_ ̃x, _autoencoder_ mampu
mengembalikan ̃xke bentuk aslix. Sebagai ilustrasi yang lebih “global”, perhatikan
Gambar 12.5 dimana suatu elips melambangkan _manifolds_, dimana
_data_  yang mirip (e.g., kuda dengan berbagai macam pose) berada pada ruang
yang cukup dekat satu sama lain. Kamu dapat memahamiresistance to
perturbationmembuat _autoencoder_ membentuk semacam “ruang lokal” yang
merepresentasikan suatu data dan variannya.

