### 1.5 Training, Validation, Testing Set

Terdapat dua istilah penting dalam pembangunan model _machine learning_
yaitu: _training_ dan _testing_. _Training_ adalah proses konstruksi model dan
_testing_ adalah proses menguji kinerja model pembelajaran. _Dataset_ adalah
kumpulan data (sampel dalam statistik). Sampel ini adalah data yang kita
gunakan untuk membuat model maupun mengevaluasi model _machine learning_.
Umumnya, _dataset_ dibagi menjadi tiga jenis yang tidak beririsan (suatu
sampel pada himpunan tertentu tidak muncul pada himpunan lainnya):

```
1. _Training set_ adalah himpunan data yang digunakan untuk melatih atau
membangun model. Pada buku ini, istilah _training data_ (set)mengacu
pada _training set_.
2. _Development set_ atau _validation set_ adalah himpunan data yang digunakan
untuk mengoptimisasi saat melatih model. Model dilatih menggunakan _training_
setdan pada umumnya kinerjasaat latihandiuji dengan _validation_
set. Hal ini berguna untuk generalisasi (agar model mampu
mengenali pola secara generik). Pada buku ini, istilah _development_ dan
_validation data_ (set)mengacu pada hal yang sama.
3. _Testing set_ adalah himpunan data yang digunakan untuk menguji model
setelahproses latihan selesai. Pada buku ini, istilah _testing data_ (set)
atau _test set_ mengacu pada _testing set_. Perlu kami tekankan, _testing set_
adalah _unseen data_. Artinya, model dan manusia tidak boleh melihat sampel
ini saat proses latihan. Banyak orang yang tergoda untuk melihat _testing_
setsaat proses latihan walaupun itu adalah tingkah laku yang buruk
karena menyebabkan _bias_.
```
Suatu sampel pada himpunan data kita sebut sebagai _data point_ atau
_instance_ yang merepresentasikan suatu kejadian statistik ( _event_ ). Perlu diingat, _training_, _validation_,
dan _testing data_ secara ideal diambil ( _sampled_ )
dari distribusi yang sama dan memiliki karakteristik yang sama ( _independent_ ly
and identically distributed). Distribusi pada masing-masing dataset ini
juga sebaiknya seimbang ( _balanced_ ) dan memuat seluruh kasus. Misal, sebuah
_dataset_  _binary classification_ sebaiknya memuat 50% kasus positif dan
50% kasus negatif.


12 1 Pengenalan

Pada umumnya, rasio pembagian _dataset_ ( _training_ : _validation_ : _testing_ )
adalah (80% : 10% : 10%) atau (90% : 5% : 5%). _Validation set_ pada umumnya
bisa tidak digunakan apabila _dataset_ berukuran kecil (hanya dibagi menjadi _training_ dan _testing_
setsaja). Dalam kasus ini, pembagian _dataset_ menjadi _training_
dan _testing_ set pada umumnya memiliki rasio (90% : 10%),
(80% : 20%), (70% : 30%), atau (50% : 50%). Pada kasus ini, kinerja saat
_training_ diuji menggunakan _training set_ (dikenal sebagai _closed testing_ ).
Saat tidak menggunakan _validation set_ (hanya ada _training_ dan _testing_
set), kita juga memiliki opsi untuk mengevaluasi model dengan metodeKcross- _validation_.^10
Artinya, kita membagi _training data(set)_ setatau keseluruhan
_dataset_ ) menjadiKbagian. Kita menggunakanK−1 bagian untuk _training_,
kemudian menguji kinerja model saat latihan ( _validation_ ) menggunakan satu
bagian. Hal ini diulangi sebanyakKkali dimana sebuah bagian data digunakan
sebagai _testing set_ sebanyak sekali (bergilir). Mungkin sekarang kamu
merasa pusing karena membaca banyak istilah. Jangan khawatir! Kamu akan
lebih meresapi arti istilah-istilah tersebut seiring membaca buku ini.

