### 11.5 Interpretability

_Interpretability_  ada dua macam yaitu model interpretability (i.e., apakah
struktur model pembelajaran mesin dapat dipahami) dan _prediction interpretability_ (i.e.,
bagaimana memahami dan memverifikasi cara _input_ dipetakan


152 11 Feed _forward_ Neural Network

```
𝛽!
```
```
𝒙𝟏 𝒙𝟐 𝒙𝑲
```
```
𝛾"
```
```
_Output_ 	=	𝑜𝑗
```
```
_Output_ 	=	𝑣𝑖
```
```
𝑢!,"
```
```
𝑤$,!
```
```
_Output_  Units (I units)
```
```
Hidden Units (J units)
```
```
_Input_  Units (K units)
```
Gambar 11.6: Justifikasi penggunaan

#### ∑

pada penurunan dari _hidden_ ke _input_
_layer_.

```
Gambar 11.7: Proses latihan MLP menggunakan _backpropagation_.
```
menjadi _output_ ) [55]. Contoh teknik pembelajaran mesin yang mudah diinterpretasikan
baik secara struktur dan prediksinya adalah decision tree
(bab 6). Struktur _decision tree_ berupa pohon keputusan mudah dimengerti
oleh manusia dan prediksi (keputusan) dapat dilacak ( _trace_ ). Seperti yang
sudah dijelaskan pada bagian pengantar, ANN (MLP) biasanya dianggap sebagai
metode _black box_ atau susah untuk dinterpretasikan (terutama _model_


```
11.6 Binary Classification 153
```
_interpretability_ -nya). Hal ini disebabkan oleh kedalaman ( _depth_ ) yaitu memiliki
beberapa _layer_ dan _non-linearities_. Suatu unit pada _output layer_ dipengaruhi
oleh kombinasi ( _arbitrary combination_ ) banyak parameter pada _layers_
sebelumnya yang dilewatkan pada fungsi non-linear. Sulit untuk mengetahui
bagaimana pengaruh bobot suatu unit pada suatu _layer_ berpengaruh pada
_output layer_, beserta bagaimana pengaruh kombinasi bobot. Intinya, fitur dan
_output_ tidak memiliki korespondensi satu-satu. Berbeda dengan model linear,
kita tahu parameter (dan bobotnya) untuk setiap _input_. Salah satu arah riset
adalah mencari cara agar keputusan yang dihasilkan oleh ANN dapat dijelaskan
[56],^7 salah satu contoh nyata adalah _attention mechanism_ [57, 58]
(subbab 13.4.4) untuk _prediction interpretability_. Survey tentang _interpretability_ dapat
dibaca pada _paper_ oleh Doshi-Velez dan Kim [59].
Cara paling umum untuk menjelaskan keputusan pada ANN adalah menggunakanheat
map. Sederhananya, kita lewatkan suatu dataxpada ANN,
kemudian kita lakukan _feed-forward_ sekali (misal dari _input_ ke _hidden layer_
dengan parameterW). Kemudian, kita visualisasikanx·W(ilustrasi pada
Gambar 11.8). Dengan ini, kita kurang lebih dapat mengetahui bagian _input_
mana yang berpengaruh terhadap keputusan di _layer_ berikutnya.

```
BeritaA BeritaB BeritaC BeritaD
Budi
menendang
bola
```
Gambar 11.8: Contoh _heat map_ pada persoalan klasifikasi teks. _Input_ berupa
kata-kata yang dimuat pada suatu berita. Output adalah kategori berita untuk
_input_. Warna lebih gelap menandakan bobot lebih tinggi. Sebagai contoh, kata
“menendang” berkorespondensi paling erat dengan kelas berita B.

