### 2.8 Hypothesis Testing

Diberikan dua model pembelajaran mesin dengan kinerjaAdanB. Kita ingin
memutuskan model pembelajaran mesin mana yang “lebih baik”. Perhatikan,
kualitas model tidak hanya tergantung pada satu metrik (misal akurasi),
tetapi kita juga mempertimbangkan kompleksitas model ( _running time_ ) dan
sebagainya. Hal ini membuat keputusan model mana yang “lebih baik” menjadi
cukup kompleks. Demi penyederhanaan pembahasan, anggap kita hanya
melihat dari sisi performa yang diukur menggunakan skor tertentu.
Banyak makalah penelitian pembelajaran mesin yang hanya melihat nilai
kinerja secara mentah. Artinya, apabila kinerjaA > Bmaka modelAmemiliki
“lebih baik” dari modelB. Hal ini terkadang tidak sesuai dengan prinsip
statistik, dimana suatu model bisa saja mendapatkan kinerjaAsecara kebetulan.
Konsep _Statistical hypothesis testing_ menjadi penting untuk menarik
konklusi apakah memang benarA > Bsecara tidak kebetulan.
Konsep ini menjadi semakin penting saat menggunakanartificial neural
_network_  (ANN). Parameter model ANN pada umumnya diinisiasi secara _random_.
Artinya, apabila kita melatih arsitektur yang sama sebanyak
dua kali, kita belum tentu mendapatkan model dengan kinerja sama persis.
Reimers dan Gurevych [13] menjelaskan betapa pentingnya melatih model
ANN berkali-kali.
Kita hanya dapat menyimpulkan dengan benar model mana yang “lebih
baik” hanya setelah melakukan _statistical hypothesis testing_. Ada banyak cara
untuk melakukan _hypothesis testing_, dan tes yang digunakan berbeda tergantung
metrik _performance measure_. Buku ini tidak akan membahas dengan
detil, dan kami merekomendasikan untuk membaca paper oleh Dror
et al. [14, 15]. Kami harap pembaca dapat menangkap bahwa memutuskan
apakah suatu modelAlebih baik dariBtidak cukup hanya dengan melihat
ukuran kinerja secara numerik, tetapi hal ini harus dibuktikan menggunakan
_statistical hypothesis testing_.


```
2.9 Teori Informasi 33
```
