### 8.3 Part-of-speech Tagging

Pada bidang pemrosesan bahasa alami ( _natural language processing_ ), peneliti
tertarik untuk mengetahui kelas kata untuk masing-masing kata di tiap kalimat.
Misalkan kamu diberikan sebuah kalimat “ _Budi menendang bola_ ”. Setelah
proses POS _tagging_, kamu akan mendapat “Budi/Noun menendang/Verb
bola/Noun” (Gambar 8.4). Hal ini sangat berguna pada bidang pemrosesan
bahasa alami, misalkan untuk memilih _noun_ pada kalimat. Kelas kata disebut
sebagai _syntactic categories_. Pada bahasa Inggris, kita mempunyai kelas kata
yang dikenal dengan _Penn Treebank POS Tags_,^4 diberikan pada Tabel 8.1.

```
POS tag Noun Verb Noun
Kata Budi Menendang Bola
```
```
Gambar 8.4: Contoh POS _tagging_.
```
POS _tagging_ adalah salah satu bentuk pekerjaan _sequential classification_.
Diberikan sebuah sekuens kata (membentuk satu kalimat), kita ingin
menentukan kelas setiap kata/ _token_ pada kalimat tersebut. Kita ingin
memilih sekuens kelas kata _syntactic categories_ yang paling cocok untuk katakata/ _tokens_
pada kalimat yang diberikan. Secara formal, diberikan sekuens
kata-kataw 1 ,w 2 ,...,wT, kita ingin mencari sekuens kelas katac 1 ,c 2 ,...,cT
sedemikian sehingga kita memaksimalkan nilai probabilitas 8.6 [12, 38].

```
cˆ 1 ,cˆ 2 ,...,cˆT= arg max
c 1 ,c 2 ,...,cT;ciC
```
```
P(c 1 ,c 2 ,...,cN|w 1 ,w 2 ,...,wT) (8.6)
```
DimanaCadalah daftar kelas kata. Akan tetapi, menghitung persamaan 8.6
sangatlah sulit karena dibutuhkan data yang sangat banyak (kombinasi sekuens

(^4) https://www.ling.upenn.edu/courses/Fall_ _2003/ling001/penn_ _treebank_
pos.html


106 8 Hidden Markov Model

```
No. Tag Description
```
1. CC Coordinating conjunction
2. CD Cardinal number
3. DT De _term_ iner
4. EX Existential there
5. FW Foreign word
6. IN Preposition or subordinating conjunction
7. JJ Adjective
8. JJR Adjective, comparative
9. JJS Adjective, superlative
10. LS List item marker
11. MD Modal
12. NN Noun, singular or mass
13. NNS Noun plural
14. NNP Proper noun singular
15. NNPS Proper noun plural
16. PDT Pre _determiner_
17. POS Possessive ending
18. PRP Personal pro _noun_
19. PRP$ Possessive pro _noun_
20. RB Ad _verb_
21. RBR Ad _verb_, comparative
22. RBS Ad _verb_, superlative
23. RP P _article_
24. SYM Symbol
25. TO to
26. UH Interjection
27. VB Verb base form
28. VBD Verb past tense
29. VBG Verb gerund or present participle
30. VBN Verb past participle
31. VBP Verb non-3rd person singular present
32. VBZ Verb 3rd person singular present
33. WDT Wh- _determiner_
34. WP Wh-pro _noun_
35. WP$ Possessive wh-pro _noun_
36. WRB Wh-ad _verb_

```
Tabel 8.1: Penn Treebank POS Tag.
```
kata sangat sulit untuk didaftar/sangat banyak). Teori Bayes digunakan untuk
melakukan aproksimasi permasalahan ini. Ingat kembali teori Bayes seperti
pada persamaan 8.7.

```
P(x|y) =
P(y|x)P(x)
P(y)
```
#### (8.7)


```
8.3 Part-of-speech Tagging 107
```
Dengan menggunakan teori Bayes, kita dapat mentransformasi persamaan 8.6
menjadi persamaan 8.8.

cˆ 1 ,cˆ 2 ,...,cˆT= arg max
c 1 ,c 2 ,...,cT;ciC

```
P(w 1 ,w 2 ,...,wT|c 1 ,c 2 ,...,cT)P(c 1 ,c 2 ,...,cT)
P(w 1 ,w 2 ,...,wT)
(8.8)
```
Untuk suatu sekuens input,P(w 1 ,w 2 ,...,wT) ( _language model_ ) akan selalu
sama sehingga dapat diabaikan (karena operasi yang dilakukan adalah
mengubah-ubah atau mencaric). Oleh karena itu, persamaan 8.8 dapat
disederhanakan menjadi 8.9.

```
cˆ 1 ,cˆ 2 ,...,cˆT= arg max
c 1 ,c 2 ,...,cT;ciC
```
```
P(w 1 ,w 2 ,...,wT|c 1 ,c 2 ,...,cT)P(c 1 ,c 2 ,...,cT)
```
(8.9)
Pada persamaan 8.9, kombinasi sekuens kelas kata jauh lebih sedikit dibanding
kombinasi sekuens kata (karena kelas kata jumlahnya lebih terbatas). Ingat
kembaliP(c 1 ,c 2 ,...,cT) disebut _prior_,P(w 1 ,w 2 ,...,wT|c 1 ,c 2 ,...,cT)
disebut _likelihood_ (bab 2).
Persamaan 8.9 masih dapat disederhanakan kembali menggunakanmarkov
assumption, yaitu dengan membuat asumsi saling lepas pada sekuens (disebutindependence
assumption). Terdapat dua asumsi, pertama, kategori
suatu kata hanya bergantung pada dirinya sendiri tanpa memperhitungkan
kelas kata disekitarnya, seperti pada persamaan 8.10. Asumsi kedua adalah
suatu kemunculan kategori kata hanya bergantung pada kelas kata sebelumnya,
seperti pada persamaan 8.11.

```
P(w 1 ,w 2 ,...,wT|c 1 ,c 2 ,...,cT) =
```
#### ∏T

```
i=1
```
```
P(wi|ci) (8.10)
```
```
P(c 1 ,c 2 ,...,cT) =
```
#### ∏T

```
i=1
```
```
P(ci|ci− 1 ) (8.11)
```
Dengan demikian, persamaan 8.9 disederhanakan kembali menjadi persamaan
8.12 yang disebut _bigram assumption_ atau _first-order markov chain_,
dimanaTmelambangkan panjangnya sekuens.

```
cˆ 1 ,cˆ 2 ,...,cˆT= arg max
c 1 ,c 2 ,...,cT;ciC
```
#### ∏T

```
i=1
```
```
P(wi|ci)P(ci|ci− 1 ) (8.12)
```
Kita dapat membuat ekstensi persamaan 8.12 dengan _trigram assumption_, _quadgram_
assumption, dan seterusnya.P(ci|ci− 1 ,ci− 2 ) untuk _trigram_,P(ci|ci−
1 ,ci− 2 ,ci− 3 ) untuk _quadgram_. Walau menghitung probabilitas
seluruh sekuens adalah hal yang susah, hal tersebut dapat di _model_ kan dengan


108 8 Hidden Markov Model

lebih baik menggunakan _recurrent neural network_ (subbab 13.2). Anda dapat
membaca subbab tersebut kemudian, ada baiknya kita mengerti pendekatan
yang lebih sederhana terlebih dahulu.
Sebagai contoh, untuk kalimat “ _budi menendang bola_ ”, peluang kalimat
tersebut memiliki sekuens kelas kata “ _noun_, _verb_, _noun_ ” adalah

```
P( _noun_, _verb_, _noun_ ) =P(budi| _noun_ )P( _noun_ |null)P(menendang| _verb_ )
P( _verb_ | _noun_ )P(bola| _noun_ )P( _noun_ | _verb_ )
(8.13)
```
