### 5.3 Log-linear Binary Classification

Pada subbab sebelumnya, telah dijelaskan fungsi binary classifier memetakan
_data_  menjadi nilai [− 1 ,1], dengan−1 merepresentasikan kelas pertama dan
1 merepresentasikan kelas kedua. Tidak hanya kelas yang berkorespondensi,
kita juga terkadang ingin tahu seberapa besar peluang data tergolong pada
kelas tersebut. Salah satu alternatif adalah dengan menggunakan fungsi sigmoid
dibanding fungsi _sign_ untuk merubah nilai fungsi menjadi [0,1] yang
merepresentasikan peluangp _data_ diklasifikasikan sebagai kelas tertentu (1−p
untuk kelas lainnya). Konsep ini dituangkan menjadi persamaan 5.9, dimana
ymerepresentasikan probabilitas _input x_ digolongkan ke kelas tertentu,x
merepresentasikan data ( _feature vector_ ), danbmerepresentasikan _bias_. Ingat
kembali materi bab 4, algoritma _Naive Bayes_ melakukan hal serupa.
Hasil fungsi sigmoid, apabila di- _plot_ maka akan berbentuk seperti Gambar 5.1
(berbentuk karakter “S”).


66 5 Model Linear

```
y=σ(f(x)) =
```
#### 1

```
1 +e−(x·w+b)
```
#### (5.9)

Perhatikan, persamaan 5.9 juga dapat diganti dengan persamaan 5.10 yang
dikenal juga sebagai fungsi logistik.

```
y= logistik (f(x)) =
```
```
e(x·w+b)
1 +e(x·w+b)
```
#### (5.10)

Varibelyadalah nilai probabilitas data masuk ke suatu kelas. Sebagai contoh,
kita ingin nilaiy= 1 apabila data cocok masuk ke kelas pertama dany= 0
apabila masuk ke kelas kedua.
Ketika fungsi _machine learning_ menghasilkan nilai berbentuk probabilitas,
kita dapat menggunakan _cross entropy_ sebagai _utility function_. Persamaan
5.11 adalah cara menghitung _cross entropy_, dimanaT(ci) melambangkan
_desired probability_  ( _desired output_ ).P(ci) melambangkan probabilitas
(prediksi) _input_ diklasifikasikan ke kelasci danN melambangkan
banyaknya kelas. Untuk _binary classification_,T(c 1 ) = 1−T(c 2 ). Pada umumnya,Tbernilai
antara [0, 1]. Nilai 1 untuk kelas yang berkorespondensi dengan
_input_ ( _desired output_ ) dan 0 untuk kelas lainnya.

#### H=−

#### ∑N

```
i=1
```
```
T(ci) log (P(ci)) (5.11)
```
Kita ingin meminimalkan nilai _cross entropy_ untuk model pembelajaran
mesin yang baik. Ingat kembali materi teori informasi, nilai _entropy_ yang rendah
melambangkan distribusi tidak _uniform_. Sementara, nilai _entropy_ yang
tinggi melambangkan distribusi lebih _uniform_. Artinya, nilai _cross entropy_
yang rendah melambangkan _high confidence_ saat melakukan klasifikasi. Kita
ingin model kita se _bias_ a mungkin menghasilkan _output_ bernilai 1 untuk
mendiskriminasi seluruh data yang masuk ke kelas pertama, dan 0 untuk kelas
lainnya. Dengan kata lain, model dapat mendiskriminasi data dengan pasti.
_Cross entropy_ bernilai tinggi apabila perbedaan nilai probabilitas masuk ke
kelas satu dan kelas lainnya tidak jauh, e.g.,P(c 1 ) = 0.6 &P(c 2 ) = 0.4. Semakin
rendah nilai _cross entropy_, kita bisa meningkatkan “keyakinan” kita
terhadap kemampuan klasifikasi model pembelajaran mesin, yaitu perbedaan
nilai probabilitas masuk ke kelas satu dan kelas lainnya tinggi, e.g.,
P(c 1 ) = 0.8 &P(c 2 ) = 0.2.

