### 2.9 Teori Informasi

Kami tidak akan membahas bagian ini terlalu detail, jika kamu membaca
buku, topik ini sendiri bisa mencapai satu buku [16]. Mudah-mudahan bab
ini dapat memberikan gambaran (serius, ini sekedar gambaran!).Information
Theory/Teori Informasi menjawab dua pertanyaan fundamental, pertama:
bagaimana cara kompresi data terbaik (jawab: _entropy_ ); kedua: apakah cara
transmisi komunikasi terbaik (jawab: channel capacity) [16]. Dalam _statistical_
_learning_  theory, fokus utama adalah menjawab pertanyaan pertama, yaitu
bagaimana melakukan kompresi informasi. Contoh aplikasi _entropy_ adalah
_decision tree learning_.
Pada _machine learning_, kita ingin fitur pembelajaran yang digunakan
mampu melambangkan _information source properties_. Artinya, kita ingin
memilih fitur yang memuat informasi terbanyak (relatif terhadapinformation
source). Karena hal tersebut, mengerti entropy menjadi penting. Ada sebuah
st _rate_ gi pemilihan fitur ( _feature selection_ ) dengan membangun _decision tree_.
Awalnya kita bentuk _training data_ dengan semua kemungkinan fitur, kemudian
mengambil beberapa fitur yang dekat dengan _root_. Hal tersebut dimaksudkan
untuk mencari fitur yang memuat banyak informasi. Kemudian, fitur
tersebut dapat dicoba pada algoritma learning lainnya. Detil akan dijelaskan
pada bab 6.

2.9.1 Entropy

Diberikan sebuah random variabelx, kita ingin mengetahui seberapa banyak
informasi yang kita dapatkan ketika kita mengobservasi sebuah nilai spesifik
xi. Kuantitas informasi yang kita dapatkan bisa dipandang sebagai “degree
of surprise” [8]. Misalkan kita mengetahui seorang temanAsering makan es
krim. Suatu ketika kita diberitahu bahwa dia sedang makan es krim, tentu
kita tidak heran lagi karena hal tersebut sudah lumrah. Tetapi, apabila kita
diberitahu bahwa temanAtidak memakan es krim yang diberikan teman
B(padahal kita tahu dia suka), maka akan ada efek “kaget”. Kasus kedua
memuat lebih banyak informasi karena suatu kejadian yang seharusnya tidak
mungkin, terjadi. Hal ini dikuantifikasi dengan persamaanShannon En-
tropy2.14.

```
S(x) =−
```
#### ∑N

```
i=1
```
```
p(xi)log(p(xi)) (2.14)
```
Mari kita ambil contoh dari Bishop [8]. Misalkan sebuah _random variable_
xmemiliki 8 kemungkinan kejadian yang kemungkinannya sama (yaitu^18 ).
_Entropy_ untuk kasus ini adalah (log dalam basis 2) diberikan oleh

#### S=− 8

#### 1

#### 8

```
log(
```
#### 1

#### 8

#### ) = 3 (2.15)


34 2 Fondasi Matematis

Sekarang mari kita ambil contoh dari [16]. Misalkan sebuah _random variable_ xmemiliki
8 kemungkinan kejadian{a,b,c,d,...,h}dengan peluang
1
2 ,

```
1
4 ,
```
```
1
8 ,
```
```
1
16 ,
```
```
1
64 ,
```
```
1
64 ,
```
```
1
64 ,
```
1
64
Maka _entropy_ -nya adalah 2. Dari contoh ini, kita tahu bahwa distribusi yang
_uniform_  memiliki _entropy_ yang lebih besar dibanding distribusi yang tidak
_uniform_. Banyaknya informasi sebanding denganturunnyanilai _entropy_.
Seperti yang telah diceritakan sebelumnya, _event_ yang memiliki “efek
kaget” memiliki banyak informasi. Dari sisi _information transmission_, dapat
diinterpretasikan kita dapat mengirimkan data sebuah distribusi dengan
jumlah bit lebih sedikit untuk distribusi yang uniform. Distribusi yang memberikan
nilai _entropy_ maksimal adalah distribusi Gaussian [8]. Nilai _entropy_
bertambah seiring _variance_ distribusi bertambah. Dari sisi fisika, kamu dapat
mempelajari _entropy_ pada _statistical mechanics_ ( _microstate_, _macrostate_ ).
Perhatikan, _entropy_ (persamaan 2.14) dan _cross entropy_ (persamaan 2.13)
memiliki persamaan agak berbeda (adanya distribusi asliq). Tetapi interpretasi
kedua formula adalah sama. Distribusi yang memiliki nilai cukup uniform
memiliki nilai _entropy_ / _cross entropy_ yang tinggi, sementara memiliki nilai
rendah untuk distribusi yang condong ke nilai tertentu ( _skewed_ ).

2.9.2 Relative Entropy dan Mutual Information

Kami harap kamu masih ingat materi bab 1, karena materi bagian ini juga
menyinggung kembali materi tersebut. Misalkan kita mempunyai data dengan
_probability density function_ q(x). Sebuah _learning machine_ mengaproksimasi
_data_  tersebut dengan _probability density function_ p(x). Ingat! _Machine learning_ adalah
pendekatan ( _approximation_ ). Ketika kita melakukan aproksimasi,
seringkali aproksimasi yang dilakukan tidaklah tepat seperti pada Gambar 2.6.
Tentunya kita ingin tahu seberapa bagus aproksimasi kita, untuk mengukurnya
terdapat sebuah perhitungan yang bernamaKullback-Leibler
Divergence(KL- _divergen_ ce). Secara konseptual, dirumuskan sebagai persamaan
2.16. Perlu diperhatikanKL(q||p) 6 =KL(p||q) (kecualip=q).

```
KL(q||p) =−
```
#### ∫

```
q(x)log
```
#### (

```
q(x)
p(x)
```
#### )

```
dx (2.16)
```
Persamaan 2.16 dapat diminimalkan jika dan hanya jikaq(x) =p(x). Kita
dapat menganggap KL- _divergen_ ce sebagai ukuran seberapa jauh aproksimasi
dan distribusi populasi. Akan tetapi, kita tidak mengetahuiq(x). Karena itu,
kita harus mengaproksimasi KL- _divergen_ ce. Misalkan kita diberikan _training_
_data_ x={x 1 ,x 2 ,...xn}yang kita asumsikan diambil ( _drawn_ ) dari suatu
distribusiq(x). Lalu kita membuat _learning machine_ p(x|w). Ekspektasi
terhadapq(x) dapat diaproksimasi dengan menggunakan data sampel ini, dituangkan
menjadi persamaan 2.17 [8].

```
KL(q||p)≈
```
#### 1

#### N

#### ∑N

```
i=1
```
```
(−log(p(xi|w)) + log(q(xi))) (2.17)
```

```
2.10 Matriks 35
```
```
Gambar 2.6: Information source vs learning machine.
```
KL- _divergen_ ce disebut juga sebagai _relative entropy_.^3 Dari sisi pemrosesan
informasi, KL- _divergen_ ce dapat diinterpretasikan sebagai berapa informasi
tambahan rata-rata untuk mengirimkan data distribusi dengan menggunakan
fungsi aproksimasi dibanding menggunakan distribusi sebenarnya,
seberapa pengurangan ketidakyakinan terhadap _posterior_ seiring diberikannya
_data_  observasi yang baru. Dengan kata lain,seiring diberikan observasi
yang baru, kita semakin yakin terhadap nilai posterior(semakin
banyak jumlah sampel yang kita miliki maka model lebih dapat dipercaya).
KL-Divergence = Cross Entropy - Entropy (buktikan!).^4

