### 3.8 Evaluasi Model

Ada beberapa hal yang perlu kamu catat tentang proses evaluasi suatu model
pembelajaran mesin:

```
1. _Data splitting_. Seperti yang sudah dijelaskan pada subbab 1.5, pada
umumnya kita memiliki _training_, _validation/validation_, dan _testing data_.
Mesin dilatih menggunakan _training data_, saat proses _training_,performance
measurediukur berdasarkan kemampuan mengenali/ mengeneralisasi _validation_
_data_. Perlu diketahui, _performance measure_ diukur menggunakan _validation_
_data_ untuk menghindari _overfitting_ dan _underfitting_.
Setelah selesai dilatih, maka model hasil pembelajaran dievaluasi dengan
_testing data_. _Training_, _validation_, dan _testing_ data tersusun oleh data yang
independen satu sama lain (tidak beririsan) untuk memastikan model
yang dihasilkan memiliki generalisasi cukup baik.
2. _Overfitting dan Underfitting_. _Overfitting_ adalah keadaan ketika model
memiliki kinerja baik hanya untuk _training data/seen examples_ tetapi
tidak memiliki kinerja baik untuk _unseen examples_.Underfttingadalah
keadaan ketika model memiliki kinerja buruk baik untuk _training data_
dan _unseen examples_. Hal ini akan dibahas lebih detil pada subbab 5.8.
3. _Cross validation_. _Cross validation_ adalah teknik untuk menganalisis
apakah suatu model memiliki generalisasi yang baik (mampu memiliki
kinerja yang baik pada _unseen examples_ ). Seperti yang kamu ketahui,
kita dapat membagi data menjadi _training_, _validation_, dan _testing data_.
Saat proses _training_, kita latih model dengan _training data_ serta dievaluasi
menggunakan _validation data_. Teknik _cross validation_ bekerja dengan
prinsip yang sama, yaitu membagi sampel asli menjadi beberapa subsampel
dengan partisi sebanyakK(K- _fold_ ). Ilustrasi diberikan oleh Gambar
3.2. Persegi panjang melambangkan suatu sampel. Saat proses _training_,
kita bagi data menjadi _training data_ dan _test data_ (i.e., _validation_
_data_ ). Hal ini diulang sebanyakKkali. Kita evaluasi kemampuan generalisasi
_model_  dengan merata-ratakan kinerja pada tiap iterasi. Setelah itu,
_model_  dengan kinerja terbaik (pada iterasi teretentu) digunakan lebih lanjut
untuk proses _testing_ atau dipakai secara praktis. Perlu diperhatikan,
setiap subsampel sebaiknya memiliki distribusi yang sama dengan sampel
aslinya (keseluruhan sampel); i.e., pada contoh, proporsi warna biru dan
merah adalah sama tiap partisi tiap iterasi. Konsep tersebut lebih dikenal
dengan _stratified sampling_.^7
```
(^7) https://en.wikipedia.org/wiki/Stratified_ _sampling_


48 3 Data Analytics

Gambar 3.2: Ilustrasi 3- _fold_ cross validation. Warna merah dan biru melambangkan
sampel ( _instance_ ) yang tergolong ke dua kelas berbeda.

