### 5.4 Multi- _class_ Classification

Subbab ini akan membahas tentang _multi-class classification_, dimana terdapat
lebih dari dua kemungkinan kelas. Terdapat himpunan kelasCberanggotakan
{c 1 ,c 2 ,...,cK}. Untuk suatu data dengan representasi _feature vector_ -nya, kita
ingin mencari tahu kelas yang berkorespondesi untuk data tersebut. Contoh


```
5.4 Multi- _class_ Classification 67
```
permasalahan ini adalah mengklasifikasi gambar untuk tiga kelas: _apel_,jeruk,
atau _mangga_. Cara sederhana adalah memiliki tiga buah vektor parameter
dan _bias_ berbeda,w _apel_,wjeruk,w _mangga_, dan _bias_ b{ _apel_,jeruk, _mangga_ }. Untuk
menentukan suatu data masuk ke kelas mana, kita dapat memprediksi skor
tertinggi yang diberikan oleh operasi _feature vector_ terhadap masing-masing
_vektor_  parameter. Konsep matematisnya diberikan pada persamaan 5.12, dimana
ˆcadalah kelas terpilih (keputusan), yaitu kelas yang memiliki nilai tertinggi.Cmelambangkan
himpunan kelas.

```
c _apel_ =x·w _apel_ +b _apel_
cjeruk=x·wjeruk+bjeruk
c _mangga_ =x·w _mangga_ +b _mangga_
ˆc= arg max
ci∈C
```
```
(ci)
```
#### (5.12)

Tiga set parameter wci dapat disusun sedemikian rupa sebagai matriks
W∈Rd×^3 , dimanadadalah dimensi _feature vector_ (x∈R^1 ×d). Demikian
pula kita dapat susun bias menjadi vektorb∈R^1 ×^3 berdimensi tiga. Dengan
demikian, persamaan 5.12 dapat ditulis kembali sebagai persamaan 5.13, dimanacadalah
_vektor_  yang memuat nilai fungsi terhadap seluruh kelas. Kita
memprediksi kelas berdasarkan indeks elemencyang memiliki nilai terbesar
(persamaan 5.14). Analogika, seperti memilih kelas dengan nilai _likelihood_
tertinggi.

```
c=f(x) =x·W+b (5.13)
```
```
ˆc= arg max
ci∈c
```
```
(ci) (5.14)
```
Seperti yang diceritakan pada subbab berikutnya, kita mungkin juga tertarik
dengan probabilitas masing-masing kelas, bukan hanya _likelihood_ -nya.
Kita dapat menggunakan fungsi _softmax_ ^3 untuk hal ini. Fungsi _softmax_ mentransformasicagar
jumlah semua nilainya berada pada range [0,1]. Dengan
itu,cdapat diinterpretasikan sebagai distribusi probabilitas. Konsep ini dituangkan
pada persamaan 5.15, dimanaciadalah elemen vektor ke-i, melambangkan
probabilitas masuk ke kelas ke-i.

```
ci=
e(x·W+b)[i]
∑
je
```
```
(x·W+b)[j] (5.15)
```
Karena _output_ fungsi berupa distribusi probabilitas, kita juga dapat menghitung _loss_ menggunakancross
_entropy_. Seperti yang sudah dijelaskan sebelumnya
pada _binary classification_, kita ingin hasil perhitungan _cross entropy_ seke-

(^3) https://en.wikipedia.org/wiki/Softmax_ _function_


68 5 Model Linear

cil mungkin karena meminimalkan nilai _cross entropy_ meningkatkan _confidence_ saat
proses klasifikasi. Hal ini dapat dianalogikan dengan jargon “winner
takes it all”. Sebagai ilustrasi, lihatlah Gambar 5.5. Kita ingin agar bentuk
distribusi probabilitas _output_ kelas (c) condong ke salah satu sisi saja.

```
Gambar 5.5:Classification Entropy.
```
```
Gambar 5.6:One versus one.
```

```
5.4 Multi- _class_ Classification 69
```
```
Gambar 5.7:One versus all.
```
Selain mengekstensi suatu model untuk melakukan _multi-class classification_ secara
langsung, kita juga dapat menggabungkan beberapa model _binary_
_classifier_ untuk melakukan _multi-class classification_. Teknik ini memiliki dua
varian yaitu _one versus one_ dan _one versus all_.
Pada teknik _one versus one_, kita membuat sejumlah kombinasi pasangan
kelas

#### (N

```
2
```
#### )

, untukN= banyaknya kelas. Kemudian, kita biarkan masingmasing
_model_  mengklasifikasikan _input_ ke dalam satu dari dua kelas. Akhirnya,
kita memilih kelas klasifikasi berdasarkan kelas yang paling sering muncul dari
semua model. Hal ini diilustrasikan pada Gambar 5.6 (untuk lima kelas), dimanafi,jmelambangkan _binary_
_classifier_ untuk kelasidan kelasj.
Pada teknik _one versus all_, kita membuat sejumlah model juga, tetapi
kombinasinya tidak sebanyak _one versus one_. Model pertama mengklasifikasikan _inputs_ ebagai
kelas pertama atau bukan kelas pertama. Setelah itu,
dilanjutkan ke model kedua mengklasifikasikan _inputs_ ebagai kelas kedua atau
bukan kelas kedua, dan seterusnya. Hal ini diilustrasikan pada Gambar 5.7
(untuk lima kelas).


70 5 Model Linear

