### 9.6 Replicability, Overclaiming dan Domain Dependence

Pada dunia pembelajaran mesin, _replicability_ adalah hal yang sangat penting.
Artinya, eksperimen yang kamu lakukan dapat diulangi kembali oleh orang
lain, serta mendapat kinerja yang kurang lebih sama. Untuk ini, biasanya
_dataset_  dipublikasi pada domain publik agar dapat digunakan oleh banyak
orang, atau mempublikasi kode program. Selain _replicability_, kamu juga harus
memperhatikan _overclaiming_. Banyak orang yang menggunakan _toy dataset_
(berukuran sangat kecil) yang tidak merepresentasikan permasalahan aslinya.
Akan tetapi, mereka mengklaim bahwa model mereka memiliki generalisasi
yang baik. Kamu harus menginterpretasikan kinerja model secara bijaksana.
Kinerja yang baik pada _toy dataset_ belum tentu berarti kinerja yang baik
pada dunia nyata. Sebagai contoh, artikel yang dibahas pada _post_ ^4 ini adalah
contoh _overclaiming_.
Perlu kamu perhatikan juga, mendapatkan kinerja yang bagus pada suatu
_dataset_  belum tentu berarti model yang sama dapat mencapai kinerja yang
baik pada dataset lainnya. Misalnya, model yang dilatih untuk mengklasifikasikan
kategori berita belum tentu dapat mengklasifikasikan laporan medis.
Hal ini banyak terjadi pada _supervised learning_ [40]. Selain itu, kamu harus
memperhatikan karakteristik _performance metric_ yang digunakan agar tidak
salah menginterpretasikan kualitas model.

