### 3.7 Mengukur Kinerja

Pada bab 1, sudah dijelaskan bahwa kita harus mengukur kinerja model dengan
cara yang kuantitatif. Pada saat proses latihan, kita ingin model mengoptimalkan
suatu nilai _utility function_, misal meminimalkan nilai _error_ atau
_entropy_. Pada saat latihan, model pembelajaran mesin dapat mengoptimalkan
_utility function_ yang berbeda-beda (tergantung algoritma).
Kita juga dapat mengevaluasi model secara eksternal dengan melewatkan
_data_  pada model (umumnya _validation_ dan _testing data_ ), kemudian mengevaluasi
prediksi final model tersebut dengan ukuran _performance measure_.Performance
measuredapat mengukur kinerja model yang dikonstruksi oleh algoritma
yang berbeda (akan lebih jelas sembari kamu membaca buku ini).
Sebagai contoh, kamu dapat membandingkan kinerja prediksi model dengan
menggunakan metrik seperti akurasi, presisi, _recall_, F1-measure, BLEU [24],
ROUGE [25], _intra-cluster similarity_, dsb. Masing-masing _performance measure_ mengukur
hal yang berbeda. Perlu kamu ketahui bahwa memilih ukuran
kinerja tergantung pada domain permasalahan. Misalkan pada translasi
otomatis, peneliti menggunakan ukuran BLEU; pada peringkasan dokumen,
menggunakan ROUGE. Sementara itu, pada _information retrival_ /sistem temu
balik informasi menggunaan presisi, _recall_, F1-measure, atau _mean_ average
precision (MAP). Pada domain klasifikasi gambar, menggunakan akurasi.
Masing-masing _performance measure_ dapat memiliki karakteristik nilai optimal
yang berbeda. Kamu harus mengerti domain permasalahan untuk
mengerti cara mencapai titik optimal. Sebagai pengantar, diktat ini tidak dapat
membahas seluruh domain. Dengan demikian, kamu harus membaca lebih
lanjut literatur spesifik domain, misal buku pemrosesan bahasa alami atau
sistem temu balik informasi, dsb. Sebagai contoh, untuk permasalahan klasifikasi,
akurasi sering digunakan. Akurasi didefinisikan pada persamaan 3.1.
Buku ini akan membahas _performance measure_ dengan lebih lengkap pada
bab 9.

```
akurasi =
```
```
# _input_ diklasifikasikan dengan benar
banyaknya data
```
#### (3.1)


```
3.8 Evaluasi Model 47
```
