### 8.2 Generative Model

Pada _supervised learning_ kamu sudah mengetahui bahwa kita me _model_ kan
p(y|x), me _model_ kan _target_ y(label) ketika diberikan _input_ x,^2 yaitu mencari
tahu _decision boundary_ antara keputusan.xdanydapat berupa vektor, skalar,
gambar, dan lain sebagainya. Sementara pada _unsupervised learning_, kita ingin
mengaproksimasi distribusi asli dari sebuah _inputs_ ebagaip(x).
Berbeda dengan keduanya, _generative model_ me _model_ kanp(x,y). Persamaan
itu dapat difaktorkan sebagaip(x,y) =p(y|x)p(x). Pada umumnya,
kita lebih tertarik dengan nilaiyyang menyebabkanp(x,y) bernilai maksimum,
berhubungxakan selalu tetap–karenaxadalah _fixed input_,yterbaiklah
yang ingin kita temukan. Berbeda dengan _supervised learning_, _generative_
_model_ dapat difaktorkan menjadip(y|x) danp(x). Karena berbentukjoint
probability, _generative model_ me _model_ kan peluang kemunculan bersamaan.
Kita ingin mengetahui seberapa mungkin suatu dataxdihasilkan, diberikan
y. Artinya seberapa mungkin _input_ diobservasi untuk suatu _output_. Salah satu
contoh _generative model_ adalah _Hidden Markov Model_ (HMM). HMM me _model_ kan
observasi menggunakan proses _Markovian_ dengan _state_ yang tidak
diketahui secara jelas ( _hidden_ ). Kamu akan mengerti kalimat sebelumnya setelah
membaca penjelasan buku ini seluruhnya.
Ide utama HMM adalah menyelesaikan persoalan _sequence tagging_.
Diberi-kan _input x_ berupa sekuens (sekuens sinyal, sekuens kata, sekuens
gambar, dsb). Kita ingin me _model_ kan sekuens _output_ terbaikyuntuk input
tersebut.^3 Outputke-ibergantung pada _input_ dari awal sampai ke-idan _output_ dari
awal sampai sebelumnyap(yi|y 1 ,...,yi− 1 ,x 1 ,...,xi). Berdasarkan
pemaparan subbab 8.1, apabila suatu _event_ dikondisikan variabel lain dengan

(^2) Parameterwdihilangkan untuk menyederhanakan penjelasan.
(^3) xidanyidapat berupa vektor


```
8.3 Part-of-speech Tagging 105
```
tipe koneksi _serial_, maka kita dapat mengabaikan banyak variabel historis.
Hal ini dituangkan dalam persamaan 8.5,

```
p(yi|y 1 ,...,yi− 1 ,x 1 ,...,xi) =p(yi|yi− 1 ,xi) (8.5)
```
Persamaan ini disebut _first-order markov assumption_, yaitu suatu _event_
yang seharusnya dikondisikan oleh suatu histori hanya bergantung pada
_events_ ebelumnya. Terdapat pula _second_, _third_, dst _markov assumption_ yaitu
bergantung pada dua, tiga, dst _events_ sebelumnya. Walaupun hanya berupa
penyederhanaan, asumsi ini memberi kita banyak keuntungan dari sisi kom-
putasi.

