### 13.7 Transfer Learning

Walau konsep _transfer learning_ (TL) tidak terbatas pada _neural network_,
subbab ini membahas pemanfaatan TL paling umum pada _neural network_.
Pembaca dipersilahkan mengeksplorasi lebih lanjut.
Bayangkan kondisi berikut. Ada dua orang, Haryanto dan Wira. Saat
masih kecil, Wira pernah belajar cara memainkan Ukulele, sedangkan Haryanto
tidak. Ketika kedua orang tersebut belajar memainkan gitar, menurutmu
siapa yang bisa menguasai gitar lebih cepat?
Pada TL, kita ingin menggunakan suatu pengetahun ( _knowledge_ ) pada suatu _task_ T
1 , untuk menyelesaikan permasalahan _task_ T 2 [93, 94]. Kita memiliki
asumsi bahwaT 1 memiliki kaitan denganT 2 , sedemikian sehingga fasih pada
T 1 akan menyebabkan kita fasih padaT 2 (atau lebih fasih dibandingan tidak
menguasaiT 1 sama sekali). Perhatikan Gambar 13.27 yang mengilustrasikan
perbedaan pembelajaran mesin biasa dan penggunaan TL. Pada pembelajaran
mesin biasa, kita melatih model untuk masing-masing _task_. Pada TL,
kita menggunakan model yang sudah ada, disebut _pretrained model_, untuk
_task_ baru. Selain dimotivasi oleh kemiripan kedua _tasks_, TL juga dimotivasi
oleh ketersediaan data. Misal dataset untuk _task_ T 1 banyak, sedangkan untuk _task_ T
2 sedikit. BerhubungT 1 danT 2 memiliki kemiripan, model untuk


```
13.7 Transfer Learning 205
```
T 1 yang diadaptasi untukT 2 akan konvergen lebih cepat dibanding melatih
_model_  dari awal untukT 2.

Gambar 13.27: Pembelajaran mesin tradisional vs. menggunakantransfer
_learning_.

```
Gambar 13.28: Proses _transfer learning_.
```
Proses mengadaptasi suatu _pretrained model_ disebut _finetuning_ (Gambar
13.28). Pertama-tama kita ganti _layer terakhir_ ( _prediction layer_ ) pada
_pretrained model_ menggunakan _layer_ baru yang diinisialisasi secara _random_.^20
Kemudian, kita latih kembali model yang sudah ada menggunakan data untuk
T 2.
Secara umum, ada tiga cara untuk melakukan _finetuning_.
1.Freeze some layers. Kita _freeze_ beberapa _layer_ (parameternya tidak
diperbaharui saat fine _tuning_ ), kemudian latih _layer_ lainnya. Ilustrasi
diberikan pada Gambar 13.29.
2.Train only new last layer. Kita _freeze_ semua _layer_, kecuali _layer_ terakhir
untuk taskT 2. Ilustrasi diberikan pada Gambar 13.30
3.Train all layers. Setelah menggantu _layer terakhir_, kita latih semua _layer_
untuk taskT 2. Ilustrasi diberikan pada Gambar 13.31.

(^20) Penulis rasa, hal ini hampir wajib hukumnya


206 13 Arsitektur Neural Network

```
Pretrained Layer 1
```
```
Pretrained Layer 2
```
```
Prediction Layer
( _softmax_ )
```
```
Retrain Layer 1
```
```
Pretrained Layer 2
```
```
New Prediction Layer
( _softmax_ )
```
```
_Dataset_  A for task 𝑇! Dataset B for task 𝑇"
Adaptation
(Fine _tuning_ )
```
```
Freeze
```
```
Train
```
```
Train
```
```
Gambar 13.29:Freeze some layers.
```
```
Pretrained Layer 1
```
```
Pretrained Layer 2
```
```
Prediction Layer
( _softmax_ )
```
```
Pretrained Layer 1
```
```
Pretrained Layer 2
```
```
New Prediction Layer
( _softmax_ )
```
```
_Dataset_  A for task 𝑇! Dataset B for task 𝑇"
Adaptation
(Fine _tuning_ )
```
```
Freeze
```
```
Train
```
```
Gambar 13.30:Train only new last layer.
```
```
Pretrained Layer 1
```
```
Pretrained Layer 2
```
```
Prediction Layer
( _softmax_ )
```
```
Retrain Layer 1
```
```
Retrain Layer 2
```
```
New Prediction Layer
( _softmax_ )
```
```
_Dataset_  A for task 𝑇! Dataset B for task 𝑇"
Adaptation
(Fine _tuning_ )
```
```
Train
```
```
Gambar 13.31:Train all layers.
```
Selain alasan yang sudah disebutkan, TL juga digunakan untuk mempercepat _training_.
Konon _pre-trained_ model pada umumnya membutuhkan
waktu _training_ yang lebih cepat (lebih sedikit iterasi) dibanding melatih model
baru. Dengan demikian, kita dapat menghemat listrik dan mengurangi polusi
CO 2. TL juga berkaitan erat dengan _successive learning_ (bab 11), dimana


```
13.8 Multi- _task_ Learning 207
```
kita melatih arsitektur lebih kecil kemudian menggunakannya pada arsitektur
yang lebih besar.
Demikian konsep paling dasar TL. Selebihkan, penulis menya _rank_ an untuk
membaca _paper_ atau tutorial terkait, seperti dibawah berikut.

- https://www.cs.uic.edu/ liub/Lifelong- _Learning_ -tutorial-slides.pdf
- https://www.aclweb.org/anthology/attachments/
    N19-5004.Presentation.pdf

