End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.5212
-- Rouge1: 0.6659
+- Rouge1: 0.3932
 - Rouge2: 0.0
-- Rougel: 0.6648
-- Rougelsum: 0.6661
+- Rougel: 0.3893
+- Rougelsum: 0.3908
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5916664600372314,
-    "eval_rouge1": 0.3832,
+    "eval_loss": 0.5211541056632996,
+    "eval_rouge1": 0.3932,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3816,
-    "eval_rougeLsum": 0.3824,
-    "eval_runtime": 113.0487,
+    "eval_rougeL": 0.3893,
+    "eval_rougeLsum": 0.3908,
+    "eval_runtime": 604.5409,
     "eval_samples": 750,
-    "eval_samples_per_second": 6.634,
-    "eval_steps_per_second": 0.212,
+    "eval_samples_per_second": 1.241,
+    "eval_steps_per_second": 0.04,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5681180357933044,
-    "predict_rouge1": 0.4479,
+    "predict_loss": 0.5071459412574768,
+    "predict_rouge1": 0.4145,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4487,
-    "predict_rougeLsum": 0.4479,
-    "predict_runtime": 561.0154,
+    "predict_rougeL": 0.415,
+    "predict_rougeLsum": 0.4143,
+    "predict_runtime": 2697.3303,
     "predict_samples": 3752,
-    "predict_samples_per_second": 6.688,
-    "predict_steps_per_second": 0.21,
-    "total_flos": 7.534082864399155e+16,
-    "train_loss": 0.8313294962382637,
-    "train_runtime": 5163.645,
+    "predict_samples_per_second": 1.391,
+    "predict_steps_per_second": 0.044,
+    "total_flos": 4.90582346563584e+16,
+    "train_loss": 0.6208877221351247,
+    "train_runtime": 3924.9461,
     "train_samples": 14272,
-    "train_samples_per_second": 13.82,
-    "train_steps_per_second": 1.727
+    "train_samples_per_second": 18.181,
+    "train_steps_per_second": 1.136
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5916664600372314,
-    "eval_rouge1": 0.3832,
+    "eval_loss": 0.5211541056632996,
+    "eval_rouge1": 0.3932,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.3816,
-    "eval_rougeLsum": 0.3824,
-    "eval_runtime": 113.0487,
+    "eval_rougeL": 0.3893,
+    "eval_rougeLsum": 0.3908,
+    "eval_runtime": 604.5409,
     "eval_samples": 750,
-    "eval_samples_per_second": 6.634,
-    "eval_steps_per_second": 0.212
+    "eval_samples_per_second": 1.241,
+    "eval_steps_per_second": 0.04
 }

generated_predictions.txt

@@ -1,97 +1,97 @@
 atau
 0
-ini
-bisa
+dengan
 bisa
+t
 ada
-karena
-0
+saja
+yang
 t
 judi
 banyak
 akan
-/
+menjadi
 ke
 :
 -
 1
-tersebut
-ada
+beberapa
+karena
 )
-a
-2
+baik
+tidak
 dapat
-judi
+
 menjadi
 9
 e
 untuk
 atau
 banyak
-sangat
-saya
-di
-k
-dari
-kan
+bermain
+harus
 bisa
+m
+dari
+saya
+saja
 anda
 anda
 hal
 
-akan
+
 
 
 "
-dalam
-anda
+?
+harus
 karena
 
-game
-0
+maka
+3
 .
 dan
-i
-hanya
+situs
+sebagai
 menjadi
-9
+maka
 bagi
 ada
 an
-poker
+
 (
 dapat
-online
-.
+ini
+saya
 untuk
 memiliki
 1
-itu
+(
 
 ada
-dari
-.
-atau
+pemain
 .
-a
-kita
-situs
-sudah
-harus
+lebih
+indonesia
+yang
+permainan
+,
+oleh
+4
 :
 6
 dapat
-5
-,
-1
-bisa
-dan
+:
 hal
+7
+kan
+2
+bermain
 nya
 dari
 (
-kami
-2
+o
+mendapatkan
 anda
 u
 -
@@ -99,17 +99,17 @@ ini
 tidak
 
 6
-pada
+m
 sudah
-para
+bahwa
 judi
-bisa
+mendapatkan
 atau
-harus
+e
 tersebut
 sangat
 i
-k
+n
 ke
 bahwa
 dari
@@ -117,26 +117,26 @@ indonesia
 sebagai
 dan
 satu
-ada
+online
 dalam
-memiliki
+saat
 
 akan
-nya
-seperti
+itu
+satu
 2
 kita
 e
 yang
-di
+mendapatkan
 :
 di
-baik
+merupakan
 secara
-mereka
-d
+sangat
+tentang
 menggunakan
-8
+hanya
 menjadi
 satu
 tahun
@@ -146,35 +146,35 @@ dan
 ini
 adalah
 ke
-orang
+"
 bisa
 menjadi
-sangat
+bisnis
 dari
 dalam
 )
-"
-lain
-9
+7
+2
+tidak
 kan
 di
-7
+-
 orang
-oleh
+t
 adalah
-e
-memiliki
+saja
+saat
 s
-untuk
-?
+o
+n
 atau
-mereka
+lebih
 tidak
 1
-uang
+cara
 tersebut
 ini
-kita
+kan
 hal
 atau
 2
@@ -184,46 +184,46 @@ saya
 itu
 e
 untuk
-bisa
-tentang
+t
+menjadi
 7
 dapat
-0
+tidak
 
 an
 
-beberapa
-:
-orang
+hal
+banyak
+sudah
 di
 untuk
-dari
+nya
 karena
 online
 saat
-indonesia
+menjadi
 apa
-i
+akan
 :
-orang
-
-bisnis
+/
+,
+r
 tidak
-saat
+untuk
 3
 jika
 judi
 itu
-s
+kita
 
-situs
+tahun
 mudah
 untuk
 u
 yang
 salah
 
-sangat
+seperti
 dan
 8
 nya
@@ -233,30 +233,30 @@ slot
 ,
 adalah
 (
--
-ke
-i
+dan
+uang
+
 lebih
-orang
+membuat
 
 2
 menggunakan
-seperti
+4
 a
 menjadi
 saat
 oleh
 sudah
-orang
-tersebut
+harus
+?
 dengan
-memiliki
+bisnis
 banyak
 bahwa
 
 9
 
-8
+ada
 hal
 ini
 karena
@@ -272,7 +272,7 @@ banyak
 dalam
 saat
 dapat
-banyak
+permainan
 bisa
 lebih
 kamu
@@ -286,7 +286,7 @@ akan
 dan
 bahwa
 bisa
-kami
+mendapatkan
 dapat
 seperti
 e
@@ -297,7 +297,7 @@ untuk
 lebih
 sebagai
 harus
-dan
+untuk
 )
 untuk
 dalam
@@ -308,68 +308,68 @@ menjadi
 hanya
 banyak
 0
-1
+memiliki
 beberapa
 )
 
-situs
-:
+bisnis
+sangat
 1
 salah
 4
-4
+orang
 ,
-cara
+orang
 )
-
+mereka
 8
 permainan
 1
 mereka
-
-cara
+semua
+p
 anda
-dengan
 dari
-harus
+dari
+satu
 5
 anda
 nya
 .
-telah
+anda
 lebih
 tidak
-satu
-dan
+cara
+besar
 dengan
 
 -
 u
 saya
 saat
-"
-,
-1
+9
+t
+akan
 baik
 dan
 menjadi
 dari
-dapat
+salah
 5
 1
 ada
 situs
-u
-an
+e
+saja
 ada
 ini
 0
-beberapa
+hanya
 4
 s
 ini
-?
-sudah
+ke
+menggunakan
 
 slot
 yang
@@ -377,39 +377,39 @@ anda
 0
 baik
 
-0
+-
 9
-0
+(
 oleh
 9
 ada
-salah
-lebih
-6
+hanya
+banyak
+judi
 (
 
 oleh
 kan
 dalam
 s
-adalah
+tersebut
 adalah
 mereka
-3
-melakukan
--
+satu
+s
+-
 
-anda
+"
 i
 juga
 menjadi
 k
 atau
 bisa
-dengan
-adalah
-juga
-bermain
+an
+pun
+lebih
+6
 judi
 lebih
 memiliki
@@ -418,12 +418,12 @@ cara
 dapat
 1
 3
-kita
-situs
+
+.
 ,
-apa
-lebih
-atau
+baru
+
+dapat
 seperti
 besar
 ,
@@ -431,16 +431,16 @@ akan
 9
 oleh
 adalah
-situs
+semua
 
-harus
+bahwa
 
 itu
 kamu
-u
+sehingga
 6
 satu
-8
+)
 hal
 dari
 t
@@ -449,63 +449,63 @@ atau
 akan
 karena
 saya
-game
+6
 oleh
 banyak
 
 di
 ini
-bisa
+,
 memiliki
 k
 1
 atau
 tidak
-cara
-hal
+seperti
+sebagai
 e
 memiliki
 baik
 akan
-menjadi
+dia
 itu
 anda
 saat
 0
-/
+7
 untuk
 a
 8
-bahwa
-salah
+g
+menggunakan
 hal
-8
-u
+saat
+
 untuk
-7
+karena
 
-banyak
+seperti
 -
 .
 satu
 0
 0
 
-tersebut
+7
 (
-memiliki
-poker
+
+sebagai
 saat
 salah
 dan
-:
+)
 dapat
 ini
 seperti
-4
+saya
 tersebut
-situs
-ke
+baik
+lain
 s
 jika
 :
@@ -515,191 +515,191 @@ akan
 sebagai
 akan
 2
-secara
-uang
+saja
+besar
 0
 kami
 atau
-saja
-online
+game
+(
 .
 indonesia
 bisa
 dengan
 dalam
-membuat
+lain
+karena
+memiliki
 karena
-oleh
-pada
 (
 
 
 orang
 .
 membuat
-bisa
-u
-tahun
-sangat
+apa
+
+tidak
+pemain
 hal
 dan
 9
-melakukan
-sudah
+lain
+ke
 adalah
 ,
 adalah
-melakukan
+para
 dalam
-di
-"
-8
+secara
+beberapa
+nya
 
 
-lain
+salah
 oleh
 online
 saya
-mereka
+para
 secara
 harus
-indonesia
+2
 oleh
-5
-ke
+.
+poker
 sudah
 orang
-8
+merupakan
 .
 bahwa
 dan
-yang
+1
 dengan
 memiliki
-(
-uang
+salah
+"
 atau
 3
-dapat
+permainan
 
 judi
-cara
-jika
+saat
+tersebut
 e
 saat
 sangat
 2
 ,
 .
-nya
-s
+tidak
+kan
 dan
 hanya
 tidak
 mereka
 akan
-indonesia
+bahwa
 akan
 .
 menggunakan
-mereka
+
 
 "
 
 indonesia
 atau
 dalam
-para
-secara
+ada
+nya
 akan
 
 nya
 
-cara
+k
 dengan
 bisa
-secara
+4
 dapat
 juga
 
-4
+harus
 
-4
+harus
 atau
 2
 1
 4
 kamu
-tersebut
-sebagai
-2
+judi
+indonesia
+(
 .
 hanya
 .
-mereka
-1
-
-k
-9
+/
+e
 
+kami
+membuat
+bisa
 bahwa
 4
 akan
 tidak
 1
 baik
-untuk
-tersebut
-tahun
+0
+game
+kan
 e
 ,
-dari
+tersebut
 mereka
 s
 kami
 an
 7
 an
-bahwa
+7
 dari
 banyak
-kamu
+k
 .
-5
-adalah
+atau
+orang
 atau
 saya
 
-mereka
+satu
 online
-baik
+sangat
 (
 menggunakan
 dan
 s
 )
-adalah
-saat
+2
+bagi
 juga
 e
 )
 tidak
 dengan
 
-itu
+karena
 situs
-nya
+pada
 untuk
-dalam
-:
+pada
+an
 ada
-kamu
+"
 situs
-sudah
-banyak
+pada
+a
 ini
-8
-menjadi
+mudah
+e
 satu
 tidak
 di
@@ -707,22 +707,22 @@ di
 yang
 ,
 an
-i
-ke
+jika
+cara
 permainan
-4
+2
 mereka
 yang
 ,
 mungkin
 adalah
-kita
-ke
+cara
+karena
 .
-kan
+itu
 m
 1
-dari
+membuat
 -
 yang
 maka
@@ -732,148 +732,148 @@ d
 yang
 
 menggunakan
-"
+
 2
-ke
-9
-hanya
+kita
+e
+e
 3
 3
 seperti
-membuat
-telah
-/
-sudah
+kami
+a
+dari
+3
 
 ,
 dari
 dalam
-akan
+r
 7
 saat
 dari
 dari
 d
 
-:
-u
+harus
+?
 untuk
 mereka
 dengan
-4
-memiliki
+situs
+saat
 
 waktu
 ini
 dapat
-karena
-atau
-u
-i
-saya
-.
+anda
+semua
+7
+sudah
+ini
+
 .
-secara
+a
 
 0
 dalam
 
 ini
 banyak
-dalam
+memiliki
 (
 (
-harus
+9
 dalam
 dengan
 dari
 di
 ada
-tahun
+m
 ?
 banyak
 itu
 juga
-
+9
 ,
-t
+yang
 kamu
 kan
-baik
+semua
 di
 yang
 akan
-8
+besar
 dan
 i
-hal
+"
 banyak
-besar
-yang
-yang
+k
+atau
+:
 harus
-membuat
-yang
-cara
+kami
+online
+sudah
 online
 membuat
 dan
-8
+7
 ?
-9
+seperti
 sudah
 -
-adalah
-secara
+situs
+permainan
 dalam
-lain
+kamu
 dari
-dan
--
-menjadi
+menggunakan
+"
+jika
 anda
 -
 
-nya
+tersebut
 4
-itu
+s
 
 
 lebih
 dalam
-uang
+mereka
 ada
-yang
+di
 judi
 yang
-sebagai
+an
 2
 sudah
-pemain
-2
+judi
+,
 nya
 oleh
-sebagai
+"
 harus
 pada
-k
-oleh
-3
+besar
+kami
+7
 s
 bisa
 dapat
-harus
-adalah
-6
+s
+an
+kan
 orang
 mereka
 -
 bahwa
 
-ini
+bahwa
 d
 dengan
-5
+hal
 (
 (
 u
@@ -885,9 +885,9 @@ permainan
 a
 bisa
 anda
-itu
-tersebut
-sebagai
+kan
+hanya
+saja
 oleh
 yang
 di
@@ -900,33 +900,33 @@ atau
 seperti
 banyak
 
-menjadi
+e
 mendapatkan
 -
 t
 k
-anda
+kan
 /
-m
-1
-?
+harga
+banyak
+menjadi
 jika
-a
+poker
 ,
-dari
+game
 di
-?
+tahun
 nya
 ?
 .
 i
-orang
+e
 ?
 ada
-nya
-salah
-8
-uang
+situs
+maka
+beberapa
+i
 dalam
 di
 kan
@@ -941,9 +941,9 @@ s
 dapat
 ini
 ini
-
-permainan
-)
+o
+oleh
+7
 0
 8
 saya
@@ -952,32 +952,32 @@ satu
 an
 ini
 2
-(
-di
+jika
+dapat
 dan
 bisa
-harus
+menggunakan
 
 a
-satu
-(
+/
+3
 nya
 pada
-dapat
-saja
-slot
-maka
-bahwa
+online
+ke
+apa
+/
+bermain
 jika
 9
 satu
 atau
 untuk
 
-5
+satu
 pada
-:
-(
+satu
+
 1
 -
 5
@@ -986,44 +986,44 @@ jika
 bisa
 akan
 
-3
-oleh
+memiliki
+kita
 
 
 orang
-.
+harga
 akan
 ?
-/
-secara
+sebagai
+g
 pada
-n
-telah
-memiliki
+:
+untuk
+3
 karena
 nya
-an
+online
 
-orang
+untuk
 )
 7
-,
+bahwa
 m
 lebih
-an
-jika
+hanya
+6
 anda
 -
 anda
 -
-a
+satu
 anda
 itu
 u
 uang
-e
-membuat
-hanya
+/
+8
+pemain
 menggunakan
 
 dari
@@ -1031,209 +1031,209 @@ oleh
 atau
 yang
 saat
-dan
-bermain
+cara
+slot
 waktu
 ke
-dengan
-salah
+dalam
+secara
 adalah
 itu
 baru
-s
-adalah
-sudah
+8
 adalah
-permainan
+k
+atau
+ingin
 ,
 bisa
 i
 maka
 sudah
 mereka
-7
+permainan
 saja
-untuk
+nya
 (
-apa
+menggunakan
 .
 ,
 pada
 anda
 k
-judi
+permainan
 ?
 0
-melakukan
-harus
+
+kamu
 anda
 saja
 
 tidak
 6
 3
-kan
+ada
 hal
 beberapa
 banyak
-ke
+saya
 yang
-baik
-di
 indonesia
+di
+7
 saya
 banyak
 bisa
-besar
+an
 memiliki
 8
 dan
 memiliki
-mudah
+hanya
 yang
-"
+4
 sebagai
 karena
 
-bermain
+salah
 juga
 2
 ini
 melakukan
 5
 2
-mendapatkan
+5
 itu
 itu
-karena
+ada
 mereka
-lain
+3
 salah
 indonesia
 sangat
 juga
-atau
-ada
-bisa
-melakukan
+kami
+dapat
 bisa
+o
+tidak
 i
-menjadi
+dapat
 2
 0
-o
-sebagai
+apa
+seperti
 di
-salah
-
-(
+?
+5
+situs
 banyak
-lebih
-i
+
+1
 situs
 2
 hal
-
+tersebut
 3
 t
 juga
 dan
-9
+anda
 2
 hal
 bagi
 dan
-
+.
 saya
 tidak
-2
-ini
-,
-menjadi
-online
-tidak
-judi
+indonesia
+dan
+
+menjadi
+online
+pemain
+
 untuk
 anda
 
 2
-banyak
+mereka
 1
-cara
-"
+e
+?
 game
 permainan
 anda
 /
-i
+kami
 ,
 ,
-salah
-beberapa
+terbaik
+secara
 lebih
-maka
+baik
 sangat
 secara
 
-saja
+tidak
 di
-dengan
-sudah
+lain
+saya
 :
 k
-akan
+pada
 hal
 
 6
 kamu
 
 harus
-hanya
-dan
+bahwa
+terbaik
 lebih
 hanya
-yang
-:
+saja
+satu
 
 baik
 bahwa
 ,
-memiliki
+permainan
 sangat
 para
 dengan
 8
-hanya
-sangat
-6
+dapat
+5
+indonesia
 namun
 0
 mereka
-dengan
+oleh
 menjadi
 5
-secara
-judi
+?
+k
 
 menggunakan
 itu
-satu
+oleh
 k
 
-membuat
+namun
 bisnis
 
-di
+mendapatkan
 kami
-a
+situs
 akan
-1
+apa
 di
 memiliki
-d
+judi
 4
-5
-beberapa
+kita
+indonesia
 cara
 bagi
 banyak
@@ -1244,20 +1244,20 @@ akan
 tidak
 sangat
 hanya
-game
+mungkin
 atau
-ini
+-
 
-sangat
+seperti
 "
 1
 .
 dan
-t
+-
 dapat
-kan
+saja
 yang
-nya
+m
 s
 sebagai
 oleh
@@ -1265,62 +1265,62 @@ oleh
 dan
 di
 
-bahwa
+t
 harus
 nya
-4
-menjadi
-besar
+poker
+salah
+3
 untuk
 oleh
 yang
 maka
-tersebut
-akan
-s
-atau
-2
+.
+dalam
+pada
+mereka
+7
 8
 situs
 s
 adalah
 ini
 di
-memiliki
+dari
 lebih
 seperti
 untuk
-perlu
+baru
 jadi
-judi
+kamu
 judi
 sebagai
 ini
 dan
-tersebut
+dengan
 lebih
 sebagai
 dalam
 tahun
 untuk
 
-,
+dari
 itu
-mereka
-lebih
+dapat
+adalah
 permainan
-5
+hal
 kita
 di
 s
-dari
+tidak
 mereka
 kita
-melakukan
-sangat
+baik
+0
 
 ini
-lebih
+9
 judi
 ini
 dalam
@@ -1332,8 +1332,8 @@ seperti
 
 nya
 orang
-saya
-hal
+nya
+baik
 uang
 )
 dan
@@ -1342,18 +1342,18 @@ kami
 1
 salah
 
-tidak
+hanya
 dan
-anda
-kami
-oleh
+r
+hanya
+judi
 orang
-:
+/
 lebih
 uang
 slot
 )
-kan
+secara
 salah
 dalam
 pada
@@ -1362,38 +1362,38 @@ adalah
 di
 banyak
 hal
-.
+tersebut
 0
 orang
-judi
+baik
 lebih
-9
+4
 yang
-2
+4
 harga
 a
 di
 
 akan
 s
+bermain
 memiliki
-memiliki
-situs
+9
 untuk
-membuat
+serta
 ,
 saya
 pada
 atau
 di
-saya
+)
 mereka
 sangat
-judi
-dengan
+beberapa
+kita
 dengan
 mereka
-cara
+saat
 i
 sangat
 yang
@@ -1406,212 +1406,212 @@ slot
 ke
 i
 
-banyak
+)
 ada
 
-karena
+1
 
 atau
 oleh
 bagi
-
+orang
 0
-saja
+mudah
 3
-
-atau
-harus
-orang
+saja
+ke
+e
+sangat
 di
 bisa
-kami
+indonesia
 mereka
-4
-0
-i
+5
+terbaik
+lebih
 cara
-saja
+e
 anda
 
 bisnis
 nya
-apa
+e
 i
 besar
 1
 akan
 dan
 
-waktu
-indonesia
-7
-bahwa
+poker
+o
+d
+sudah
 ke
 0
-menggunakan
+lain
 menggunakan
 /
-
+para
 )
 s
-pada
+secara
 juga
 dari
 5
 di
-bahwa
+kan
 ini
 -
 
 tersebut
-bermain
-menjadi
+maka
+baru
 a
 8
-dari
+1
 menjadi
-sudah
+)
 
-,
+ini
 sangat
 s
 yang
 ke
-tersebut
+untuk
 karena
 ini
 dan
 /
 anda
 sudah
-saja
+t
 )
 mendapatkan
 4
 2
-beberapa
-kamu
+ada
+an
 dari
 jika
-t
+namun
+dari
 dari
-1
 mereka
 hanya
-dengan
+6
 atau
 hanya
-waktu
-8
+mudah
+situs
 yang
 3
-sebagai
+4
 0
-?
+merupakan
 .
 
-sebagai
+situs
 karena
 memiliki
 
 saya
-akan
+kami
 kamu
 
 .
-bagi
+
 anda
 juga
-?
-9
-pada
-kan
+para
+bagi
+juga
+terbaik
 ada
-tersebut
+9
 bisa
 
-kita
-kami
-saat
-3
-(
+u
+semua
+tahun
+8
+harus
 maka
 
 orang
 ke
 
-dengan
+?
 
 8
 bisa
 karena
 harus
 6
-online
+hanya
 menggunakan
 i
-3
+(
 adalah
 .
 ,
 ini
-kami
-dalam
+an
+e
 menjadi
 
-sebagai
-ini
-ke
+bermain
+,
+karena
 untuk
-jadi
-ke
+online
+jika
 -
-bahwa
+?
 5
 lebih
-ini
+apa
 mereka
-bisa
+juga
 bahwa
 seperti
-uang
-
+dan
+situs
 .
 menggunakan
-atau
+y
 
 indonesia
 dari
-mereka
+harus
 akan
 dari
 ,
 0
 saat
-m
+?
 anda
 banyak
-adalah
+mereka
 :
 lebih
-:
+itu
 jadi
 yang
 yang
-baru
+perlu
 6
 kita
 a
-bisa
+6
 indonesia
 tersebut
 kami
 3
-
+-
 akan
 a
 untuk
-tahun
+sangat
 /
 juga
 maka
@@ -1619,199 +1619,199 @@ maka
 bisa
 banyak
 hal
-mereka
-pada
+hanya
+menjadi
 7
 bisa
 0
 2
 situs
 dapat
-:
-dan
-karena
-e
+situs
+7
+dalam
+"
 juga
-sangat
+secara
 sudah
-yang
+melakukan
 anda
 sangat
-anda
+6
 
 juga
 d
 dapat
 kami
-online
+lebih
 3
-ada
-.
+dapat
 .
+?
+menjadi
 menjadi
-memiliki
 .
 ,
 judi
 ini
-sudah
+saya
 anda
-3
+jika
 "
-:
+e
 i
-saat
+mungkin
 tidak
-cara
 oleh
-permainan
-akan
+oleh
+ini
+2
 saat
 akan
 baru
-(
+0
 tahun
 d
 dan
 di
-i
-jadi
-n
+s
+bagi
+memiliki
 kami
 jika
 banyak
-e
+masih
 
-dan
+a
 itu
-waktu
-:
-lain
+r
+pada
+
 seperti
-1
+8
 )
 ini
-,
-9
+k
+memiliki
 permainan
-mereka
+kan
 akan
-nya
-adalah
-8
+sebagai
+,
+atau
 untuk
 membuat
 mereka
-4
+e
 .
-jika
+3
 slot
 dalam
-bisa
-)
-lebih
+3
+4
+baik
 0
-mereka
+membuat
 bisa
 pada
 sangat
-itu
+masih
 dan
-?
+permainan
 atau
 menggunakan
 di
-tidak
-dalam
+p
+kita
 
+7
+sangat
+orang
+indonesia
 4
-a
-nya
-uang
-2
 kan
 4
-adalah
+i
 untuk
 salah
-dapat
+dengan
 besar
-2
-untuk
+di
+7
 ?
 bisa
 
 )
--
-bisa
+bermain
+telah
 untuk
 ,
 nya
 anda
 maka
-seperti
-tahun
+kan
+bermain
 i
 0
-permainan
+dapat
 satu
 memiliki
 1
-salah
+permainan
 8
 membuat
-i
+slot
 
 
 e
-bisa
-baik
-sudah
+jadi
+di
+(
 judi
 s
-banyak
+saat
 .
-secara
-orang
-sudah
-kamu
+s
+sebagai
+anda
+untuk
 banyak
 telah
 di
 ini
-2
-satu
 
+satu
+sudah
 baik
 ada
-judi
+2
 bisa
 situs
 itu
-banyak
+saja
 2
 nya
 di
-8
+sudah
 2
-oleh
-i
+satu
+1
 atau
 ,
 ,
-
+6
 kami
 telah
-salah
+9
 2
 game
-harus
-situs
+
+5
 atau
 u
 lebih
 untuk
-melakukan
+nya
 seperti
 hanya
 nya
@@ -1820,63 +1820,63 @@ akan
 ini
 permainan
 pada
-tersebut
-orang
+,
+:
 anda
 ini
-,
-melakukan
-/
+atau
+dan
+
 di
 salah
 bisa
 anda
 mereka
 akan
-maka
+.
 sebagai
 di
 n
-game
+semua
 
-juga
+n
 dan
 –
 banyak
-ke
+setiap
 itu
 ,
 3
 yang
-lain
-d
+ingin
+menggunakan
 memiliki
 dari
 an
-)
+sebagai
 dalam
-kita
+akan
 dari
 bahwa
 e
-a
+situs
 orang
-ada
+pada
 e
 tidak
 dan
 dan
 /
-semua
+h
 harus
 saja
 
 7
-banyak
-ada
+maka
+lain
 bisa
 banyak
-sangat
+4
 anda
 sudah
 di
@@ -1885,112 +1885,112 @@ untuk
 orang
 banyak
 an
-tersebut
+an
 untuk
 :
 6
 anda
-s
+ada
 permainan
-juga
-seperti
-banyak
-semua
+i
+cara
+(
+mudah
 e
 (
-para
+saya
 untuk
 lebih
-lebih
-cara
+“
+bagi
 u
-mungkin
+salah
 k
 di
 pada
 jika
 online
-hanya
+bisnis
 akan
 -
 slot
-s
+nya
 yang
-.
-mereka
+seperti
+,
 )
 a
 ingin
-4
+sebagai
 dengan
-jadi
+bagi
 lebih
 yang
-s
+k
 ke
-membuat
+orang
 ini
 harus
 bahwa
 3
 adalah
-permainan
+harus
 bagi
-cara
+6
 "
 1
-t
+sudah
 tidak
-e
-dari
+0
+adalah
 pada
 situs
-besar
-a
+6
+/
 untuk
-
+2
 .
-u
+harus
 harus
 akan
 salah
-
+5
 itu
-pada
+ini
 hal
 saja
-t
-bagi
-2
+yang
+secara
+saat
 orang
 salah
 
-akan
+k
 -
-dan
+para
 anda
-banyak
+jika
 bisa
-maka
-itu
-an
+4
+nya
+besar
 yang
-judi
+dan
 anda
-dalam
-harus
+3
+satu
 jika
-
+k
 ke
 karena
 bisa
 dalam
-sebagai
+apa
 tersebut
-oleh
+e
 
 di
-situs
+banyak
 karena
 
 online
@@ -1998,21 +1998,21 @@ online
 bisa
 banyak
 dan
-para
-sudah
+telah
+dalam
 saja
 besar
-cara
+i
 1
-jika
-melakukan
+orang
+ini
 ada
 itu
 4
 lebih
-.
+nya
 sangat
-untuk
+
 karena
 seperti
 .
@@ -2020,39 +2020,39 @@ jika
 dari
 memiliki
 hal
-memiliki
-0
+pada
+kita
 memiliki
 "
 tidak
-"
+kita
 -
 karena
 dan
 1
 ,
 memiliki
-salah
-1
+5
+bisa
 untuk
 e
 t
-dengan
+maka
 .
 tahun
 
-anda
+k
 kan
 hal
 banyak
 ke
 kita
 
-adalah
-/
+oleh
+besar
 :
 bermain
-yang
+
 pada
 orang
 akan
@@ -2064,37 +2064,37 @@ game
 yang
 0
 dari
-apa
-besar
+kita
+kan
 u
 menjadi
 
-saya
+oleh
 sebagai
 hal
 saat
-tersebut
-dari
+orang
+menjadi
 :
 4
 menjadi
 saya
 nya
-ke
+harus
 namun
 memiliki
-8
+indonesia
 4
 2
-ini
+
 tidak
 untuk
 k
-1
+-
 s
 d
 indonesia
-
+4
 9
 ?
 anda
@@ -2103,29 +2103,29 @@ di
 nya
 -
 dalam
-akan
+)
 online
 ,
 nya
 ,
-saja
+.
 )
 di
 yang
-8
+oleh
 karena
 mereka
 seperti
-permainan
-satu
-9
+judi
+situs
+waktu
 
-namun
+"
 8
 
 bisa
 t
-pada
+atau
 )
 p
 memiliki
@@ -2134,64 +2134,64 @@ saya
 kan
 0
 -
-8
+seperti
 harus
 anda
 yang
 sudah
 
-permainan
+saat
 nya
 .
-menggunakan
+salah
 online
 
 anda
-maka
+slot
 banyak
 dari
 saja
 (
 
-bermain
+seperti
 akan
-ini
-a
-tersebut
+menggunakan
+indonesia
+orang
 baru
-lebih
+ke
 1
-maka
-bahwa
-2
-yang
+n
+kami
+jika
+beberapa
 jika
 dapat
 s
-0
+dan
 dapat
 i
 3
 ingin
-sangat
+situs
 untuk
 /
-slot
-6
+adalah
+permainan
 saja
-dapat
+harus
 anda
-banyak
+hanya
 0
-memiliki
+kami
 -
 dengan
 dengan
-s
+1
 pada
 -
-6
-baik
+t
+bahwa
 (
 1
 ada
@@ -2200,36 +2200,36 @@ anda
 cara
 online
 pada
-2
+baik
 d
 
-baik
-yang
-kami
+membuat
+menggunakan
+beberapa
 bisa
 sangat
 cara
-ini
-memiliki
+nya
+:
 an
 memiliki
-an
+indonesia
 :
 7
 ini
 
 bisa
-bahwa
-m
+(
+4
 dengan
 menjadi
 dan
-lain
+beberapa
 memiliki
 ke
-anda
-akan
-u
+beberapa
+sehingga
+online
 karena
 harus
 dengan
@@ -2240,34 +2240,34 @@ hal
 atau
 di
 ,
-pemain
+menggunakan
 sangat
 
 yang
-banyak
-maka
+akan
+baik
 9
 juga
 sangat
-karena
+banyak
 0
 judi
 nya
 .
 -
-kamu
-a
+u
+an
 ?
 
 ,
 harus
-semua
+a
 dari
 jika
-lebih
+tersebut
 
 dapat
-jadi
+tidak
 
 
 bahwa
@@ -2276,35 +2276,35 @@ dari
 5
 sudah
 situs
-dan
+besar
 ,
 s
 bahwa
 dapat
 
 atau
-k
+tersebut
 .
-secara
-beberapa
+e
+pada
 ini
 0
 sebagai
--
+6
 dan
 salah
-menjadi
-telah
+menggunakan
+p
 kami
 ada
 ?
 0
-nya
-
-7
+pada
+jika
+2
 bagi
 juga
-seperti
+banyak
 anda
 tidak
 dan
@@ -2313,44 +2313,44 @@ ada
 untuk
 .
 4
-,
-.
+apa
+
+bisa
 bisa
-0
 kamu
 seperti
 cara
-
+secara
 semua
 itu
 beberapa
 indonesia
-namun
+u
 0
 ini
-6
-anda
+lain
+0
 karena
 namun
 ini
 tidak
 9
-6
+besar
 -
 2
 pada
 pada
 s
-nya
+adalah
 orang
 
 sebagai
-3
+sangat
 
 :
 memiliki
 menjadi
-dalam
+u
 atau
 pada
 0
@@ -2364,59 +2364,59 @@ s
 di
 kita
 kamu
-uang
+merupakan
 menjadi
 2
 )
 an
-
-di
+(
+bermain
 ?
-waktu
-bahwa
 -
-mereka
-/
-mendapatkan
+9
+-
+(
+besar
+saja
 )
-poker
-6
+orang
+maka
 pada
-u
-dengan
+poker
+dari
 dapat
 situs
 tahun
-(
+baik
 s
 2
 dengan
-9
-permainan
-:
+waktu
+an
+i
 
 saat
 
 3
-mereka
-sangat
+:
+saja
 online
-sangat
+8
 5
-membuat
-4
-karena
-terbaik
+secara
+adalah
+online
+dengan
 1
 dan
 situs
 anda
 
-"
+m
 .
 mudah
 ada
-membuat
+sudah
 adalah
 
 situs
@@ -2424,45 +2424,45 @@ situs
 dan
 :
 tersebut
-dan
-(
-memiliki
+7
+mereka
+akan
 
 juga
-i
+bahwa
 e
 sudah
 pada
 untuk
-sebagai
-harus
-tersebut
+kami
+orang
+sudah
 yang
-bahwa
+baik
 -
-seperti
-an
+indonesia
+apa
 8
 9
 dan
 5
-seperti
+/
 
 dalam
 dalam
 memiliki
-bagi
-d
+hal
+5
 :
 
-7
-atau
+melakukan
+menjadi
 menjadi
 
 salah
 dapat
 banyak
-untuk
+memiliki
 tersebut
 ke
 tidak
@@ -2472,117 +2472,117 @@ oleh
 tersebut
 
 1
-bahwa
+mendapatkan
 sangat
-sebagai
+permainan
 beberapa
 .
-
+bisnis
 pada
 di
 ke
 ini
-yang
+p
 sudah
-(
+memiliki
 0
 atau
 5
-.
+yang
 -
 2
 dan
 hal
 juga
 nya
-)
+mereka
 nya
 lebih
-bisnis
+anda
 pada
-atau
-uang
+i
+d
 mereka
 orang
 ,
-itu
-
-dan
-9
-mereka
+s
+judi
+tahun
+lain
+kan
 satu
-3
-sudah
+:
+seperti
 saya
-1
+ini
 adalah
-hal
+harus
 bisa
 .
 karena
 ,
-bahwa
+dengan
 ,
 dan
-itu
+kita
 ,
 -
 game
-jika
-dengan
+menjadi
 dengan
+kami
 banyak
 2
-hanya
+slot
 telah
 jika
 juga
 nya
-.
-dengan
+melakukan
+orang
 para
 ke
-saya
-kita
+9
+tersebut
 
 
 hal
-ke
-waktu
-ini
-mereka
+s
 waktu
+,
+karena
+apa
 kita
 adalah
-dalam
+6
 membuat
-s
+harus
 anda
-kita
-3
-pada
+cara
+akan
+/
 sangat
-bisa
+memiliki
 dan
-:
+mereka
 akan
-semua
+mendapatkan
 ,
 seperti
-0
+banyak
 ini
-kita
-yang
+bahwa
+dengan
 bisa
-
-nya
-,
 beberapa
-ada
+menjadi
+,
+semua
+dan
 judi
 ,
-s
-apa
+kita
+k
 akan
 kita
 nya
@@ -2590,27 +2590,27 @@ nya
 d
 kamu
 
-banyak
+salah
 d
 dengan
 s
-saja
+dalam
 hanya
 -
 untuk
-
-2
-)
-tersebut
+banyak
+di
+sangat
+e
 itu
--
-satu
 saat
-sebagai
+.
+saat
+tersebut
 di
 sudah
-kamu
-ini
+ada
+kami
 itu
 oleh
 tahun
@@ -2619,76 +2619,76 @@ a
 sangat
 akan
 jika
-a
-permainan
-
-masih
+waktu
+mudah
+judi
+apa
 yang
-pemain
-banyak
+dapat
+menjadi
 kamu
--
+melakukan
 8
-,
+ingin
 1
-dengan
+secara
 
 .
-3
+di
 -
 5
-atau
-untuk
-atau
+s
+di
+
 dan
 bisa
 membuat
 bisnis
 seperti
 
-u
+an
 
 kami
-nya
+masih
 satu
-dan
+akan
 lebih
-/
-waktu
-membuat
+permainan
+m
+telah
 dengan
 
-u
-melakukan
-ini
-hanya
-lebih
 dan
+5
+ini
+s
+orang
+3
 tidak
-secara
+itu
 an
-
+kamu
 ke
 oleh
-bahwa
+an
 yang
-uang
+lainnya
 jika
-,
-s
+dan
+dapat
 2
 saya
-3
+kan
 untuk
-e
+baik
 3
 (
 adalah
 bisa
 nya
-orang
-jika
-salah
+
+(
+secara
 harus
 judi
 namun
@@ -2696,23 +2696,23 @@ juga
 lebih
 
 atau
-judi
+indonesia
 (
 dan
-telah
+game
 ini
-5
+saya
 dari
 dalam
 itu
 pada
 di
-bisa
+jika
 bisa
 sudah
 membuat
 hal
-beberapa
+a
 kami
 0
 menggunakan
@@ -2722,33 +2722,33 @@ dan
 ini
 an
 cara
-lain
-m
-sangat
+beberapa
+2
+/
 .
 dari
-m
-6
+namun
+rumah
 jika
-(
+e
 2
 permainan
 ,
-jika
+4
 satu
-untuk
-permainan
+harus
+maka
 pada
 dari
 an
-seperti
+jika
 ini
 t
 
-itu
+juga
 menjadi
 baik
-banyak
+baik
 s
 (
 harus
@@ -2756,28 +2756,28 @@ anda
 ,
 untuk
 itu
-1
+nya
 seperti
 juga
-1
-bagi
-dapat
+bahwa
+game
+ke
 -
 seperti
-8
-masih
-baik
+sudah
+lain
+merupakan
 online
-kami
+.
 orang
 e
 itu
 
-bagi
+kamu
 
 5
-pemain
-,
+mudah
+d
 9
 s
 karena
@@ -2785,10 +2785,10 @@ anda
 t
 8
 pada
-orang
+tersebut
 ini
-
-secara
+1
+slot
 sudah
 telah
 harus
@@ -2796,36 +2796,36 @@ ada
 akan
 tersebut
 tidak
-ke
+satu
 bisa
 
 hanya
 seperti
-untuk
+menggunakan
 ?
 anda
-lebih
+2
 
-situs
-hal
+a
+4
 online
 jika
-/
+orang
 sangat
 ke
 online
-online
+lebih
 yang
 dan
 
 atau
 itu
-atau
+i
 dan
 menjadi
 
 7
-/
+d
 ini
 -
 dengan
@@ -2834,76 +2834,76 @@ mendapatkan
 pada
 yang
 dapat
-sudah
-harus
+judi
+satu
 
 .
-)
-nya
+oleh
+5
 saat
 akan
-tahun
-lain
+apa
+e
 adalah
 juga
 
 .
-satu
+harus
 kita
 a
-nya
+permainan
 ada
 d
 0
-3
+t
 an
-saya
+situs
 hal
-slot
+baru
 d
 namun
-5
+situs
 secara
 saat
 lebih
 sebagai
 tidak
-baik
-slot
+bahwa
+cara
 yang
 anda
 yang
 poker
 bermain
 ini
-menggunakan
+namun
 3
 hal
-ini
+5
 dari
 saat
-u
+di
 jika
 
 1
 untuk
 3
 nya
-harus
+sangat
 kami
-,
-tidak
-juga
-akan
-anda
+hal
+an
 atau
+akan
+
+permainan
 1
 saya
 baik
 dan
 di
 kan
-:
+"
 ini
 
 cara
@@ -2912,59 +2912,59 @@ yang
 ada
 2
 lain
-secara
-apa
-m
+slot
+namun
+ingin
 r
 ,
 yang
 sebagai
-k
+a
 cara
 dan
 atau
-karena
+online
 melakukan
 s
 online
 sudah
-menggunakan
+mereka
 judi
 membuat
 harus
 orang
 ada
-m
+p
 e
 ke
-(
+memiliki
 0
-dapat
-sangat
+lebih
+mereka
 ada
-5
-satu
+oleh
+2
 apa
 juga
-yang
+bisa
 sebagai
 melakukan
-kan
+sangat
 cara
 kan
 an
 dapat
-cara
+8
 
-memiliki
-pemain
-0
+situs
 bermain
+melakukan
+2
 (
 .
 s
-anda
-tidak
+menjadi
+itu
 4
 anda
 yang
@@ -2978,63 +2978,63 @@ besar
 bisa
 ,
 e
-6
+saat
 hal
 seperti
-
+untuk
 atau
 .
 2
 harus
-sudah
-6
+baik
+tentang
 
 mereka
-anda
+di
 juga
 yang
-situs
-anda
+seperti
+melakukan
 8
 bahwa
 bisa
 saat
 "
-2
+"
 ,
-saat
+/
 dengan
-orang
-melakukan
+jenis
+di
 bisnis
-bahwa
+9
 menjadi
 ?
-permainan
+besar
 nya
-k
+bermain
 dalam
-
+sangat
 8
-
+membuat
 
 yang
 juga
 9
 5
-jika
+3
 
 an
 yang
-kami
-kamu
+/
+sebagai
 4
 bahwa
 untuk
 membuat
 5
-an
-pemain
+s
+poker
 orang
 hal
 -
@@ -3044,49 +3044,49 @@ yang
 judi
 bisa
 karena
-menjadi
+5
 s
 ,
-pemain
+bahwa
 saat
 -
-baik
-apa
+saja
+jika
 banyak
 slot
-u
+a
 menggunakan
-para
+poker
 besar
 kita
 tidak
 ke
-saat
+9
 untuk
 ,
-
-a
+harus
+hal
 seperti
-7
+kan
 bisa
-i
-itu
-ada
-/
+banyak
+waktu
+9
+dalam
 .
 harus
 juga
-sangat
+uang
 1
 atau
 orang
-tidak
+a
 tersebut
 ,
 dapat
 .
-menjadi
-atau
+tersebut
+s
 jika
 yang
 ?
@@ -3096,14 +3096,14 @@ i
 banyak
 
 -
-lain
+m
 akan
 para
 oleh
-indonesia
-pemain
+satu
+apa
 para
-3
+kan
 sebagai
 
 saya
@@ -3113,36 +3113,36 @@ judi
 .
 anda
 lebih
-online
-saja
+lebih
+secara
 an
 indonesia
 poker
-ini
-s
-menjadi
-poker
+besar
+cara
+kita
+kamu
 dengan
 
-itu
-t
+maka
+salah
 2
 
 dengan
 indonesia
-k
+?
 0
-satu
+bahwa
 juga
-dapat
-akan
+3
+harus
 o
 bisa
 juga
 ini
-judi
+t
 -
-tersebut
+1
 
 .
 ke
@@ -3163,7 +3163,7 @@ pada
 telah
 karena
 harus
-adalah
+itu
 dan
 sudah
 ini
@@ -3176,39 +3176,39 @@ saat
 pada
 situs
 dalam
-t
+seperti
 .
 itu
 (
 0
-melakukan
+tahun
 kita
 bermain
-0
+tersebut
 oleh
 dapat
 dan
-bahwa
+4
 "
-:
+uang
 sangat
 karena
 k
 banyak
-5
+oleh
 dengan
 salah
 e
-salah
-hanya
-bagi
+baik
+kan
+bahwa
 yang
 itu
-juga
-tersebut
+t
+harus
 2
 saya
-besar
+e
 s
 atau
 akan
@@ -3220,65 +3220,65 @@ atau
 yang
 dan
 maka
-7
-
+9
+.
 nya
 ada
 ini
 )
 bahwa
 mereka
-kita
-jika
--
+para
+memiliki
+pemain
 1
 2
 dapat
-an
+4
 juga
 indonesia
-maka
-situs
-setiap
+adalah
+lain
+hanya
 pada
 -
 kita
-s
+karena
 satu
 memiliki
 kan
 ,
 i
 anda
-anda
+maka
 
 sangat
 bisa
 anda
-:
+beberapa
 yang
 banyak
 dengan
-2
+jika
 saya
 ini
 2
 untuk
-"
-,
+kamu
+hanya
 kita
 kan
-ada
+karena
 tidak
-ke
+:
 di
-dapat
-memiliki
-karena
+cara
+oleh
+e
 ,
-adalah
-/
-
+situs
+?
+dalam
 :
 salah
 0
@@ -3293,99 +3293,99 @@ s
 judi
 dari
 2
-situs
+judi
 juga
 1
 karena
 itu
-
+besar
 hanya
-beberapa
+2
 lebih
-/
+poker
 mereka
-9
-s
-uang
-9
-a
+?
+bagi
+lain
+bermain
+situs
 anda
-judi
-0
-0
+6
+u
+atau
 tahun
 menggunakan
 -
 6
-melakukan
-ini
-bermain
-juga
+para
+"
+indonesia
+ada
 saat
 saja
-e
+situs
 mendapatkan
 ke
 dalam
-adalah
+k
+tersebut
 tersebut
-?
 online
 mereka
 di
-mereka
-indonesia
-salah
+ini
+ingin
+harus
 sudah
 kan
 dan
 dan
-para
-bahwa
+sangat
+/
 ada
 poker
-atau
+dapat
 i
 /
 8
-situs
-u
-bermain
+maka
+6
+,
 (
 hanya
-melakukan
-besar
-itu
+2
+saya
+memiliki
 -
 juga
 judi
 akan
 :
-para
-s
-t
-karena
-karena
+kami
+pada
+baik
+.
+i
 orang
-situs
-membuat
+sangat
+bahwa
 banyak
-yang
+ini
 juga
 
 ke
-0
+cara
 e
 itu
 lain
 6
-0
+2
 i
 judi
-5
+indonesia
 )
 .
-7
+bermain
 :
 -
 -
@@ -3397,64 +3397,64 @@ membuat
 kan
 dari
 
-judi
+5
 saya
 
 k
-namun
+game
 karena
-(
-jika
-uang
+orang
+kita
+kamu
 hal
 mereka
 akan
 ,
-di
-an
+trading
+dari
 itu
-9
-adalah
-kami
-3
-/
-melakukan
+(
+7
 harus
+baik
+sudah
+melakukan
+)
 adalah
-dapat
-dan
+tidak
+ke
 .
-beberapa
+orang
 
-hal
+hanya
 e
 banyak
 dengan
 "
-0
+poker
 karena
 adalah
-situs
-u
+1
+m
 di
-ke
+0
 k
 1
 
--
+baik
 5
-karena
-indonesia
+besar
+ketika
 nya
-ada
+yang
 di
-"
+karena
 (
 
 
-a
+bahwa
 menjadi
-0
+secara
 3
 3
 memiliki
@@ -3463,88 +3463,88 @@ k
 untuk
 8
 )
-:
-anda
+jika
+itu
 
 menjadi
 ada
 saat
 dan
 
-oleh
+mereka
 atau
 dalam
 saya
 7
-ini
-3
+
+5
 ada
-anda
-1
+dengan
+yang
 d
 dan
-baru
+-
 3
 /
 karena
-8
-
+dan
+sangat
 karena
 untuk
-kamu
+sebagai
 mereka
 dengan
 nya
-0
+tidak
 nya
 
 lain
-saya
-judi
+seperti
+lain
 dari
 3
 ini
 anda
 dalam
-ada
+kamu
 1
 besar
 5
 ,
-0
-sebagai
+akan
+7
 kan
 dan
 
-kami
-dapat
-3
+e
+online
+lebih
 orang
 banyak
 pada
-indonesia
-saja
+para
+
 )
-adalah
-adalah
+dari
+telah
 lebih
 
 t
-pada
-ada
-secara
-7
-pada
+para
+membuat
+6
+dapat
+untuk
 (
 tidak
-bagi
+i
 e
 di
-ini
+lagi
 dalam
 (
 
-harus
+a
 melakukan
 indonesia
 e
@@ -3552,34 +3552,34 @@ hal
 .
 ada
 dengan
-)
+online
 juga
-bermain
-harga
+dan
+uang
 dalam
-game
+namun
 
-hal
+/
 memiliki
 jika
 5
 (
 
-(
+harus
 dalam
 untuk
 adalah
 :
-5
+satu
 bahwa
-sebagai
-dapat
-0
+an
+4
+itu
 hal
 akan
 telah
 tersebut
-d
+beberapa
 kita
 yang
 adalah
@@ -3590,137 +3590,137 @@ kan
 
 tidak
 /
-4
--
-i
+sudah
+hal
+akan
 karena
 akan
 :
-sebagai
+s
 i
 permainan
-bisa
+pada
 jika
 akan
 saya
 itu
-jika
-hal
+saat
+harus
 dari
 
 hanya
-para
+maka
 jika
 karena
-5
+6
 (
 
-dengan
+tentang
 bisa
 2
 karena
 sebagai
 kita
 itu
-besar
-kamu
+/
+0
 baik
-9
-1
+apa
+h
 akan
 )
 ,
-e
+i
 sebagai
-.
+d
 poker
-harus
+sangat
 )
-:
+dengan
 e
 kami
-seperti
+baik
 tidak
 1
 :
-judi
+para
 itu
-6
-akan
+
+0
 mereka
-memiliki
+5
 banyak
 anda
-itu
+pun
 mereka
 yang
 memiliki
 
-)
+oleh
 tidak
-,
-ke
-akan
+7
+uang
+9
 dalam
-di
+dengan
 namun
 7
-beberapa
-2
+permainan
+permainan
 tersebut
 t
-anda
+jadi
 adalah
-akan
+0
 k
 .
 untuk
 
-an
+lain
 dengan
 i
 untuk
-kami
-s
-adalah
-orang
-memiliki
-secara
+atau
+seperti
+situs
+bahwa
+indonesia
+satu
 untuk
 "
 sudah
-2
+besar
 baik
 3
-i
-4
+saja
+s
 ?
-nya
+tersebut
 sudah
 saat
-a
+membuat
 menjadi
-sangat
-.
+saja
+ke
 juga
+saya
 kamu
-oleh
-i
+hanya
 ada
 di
 tidak
-1
+terbaik
 atau
 kita
 adalah
 yang
 dengan
 ada
-d
+dengan
 bisa
 oleh
 8
-kita
+:
 ,
 d
 kita
@@ -3728,7 +3728,7 @@ tersebut
 juga
 adalah
 pada
-bermain
+maka
 saya
 orang
 .
@@ -3737,16 +3737,16 @@ nya
 9
 tidak
 k
-
+.
 
 seperti
--
+m
 banyak
-dalam
-pada
+uang
+game
 saya
-itu
-7
+ke
+k
 8
 saya
 t

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5681180357933044,
-    "predict_rouge1": 0.4479,
+    "predict_loss": 0.5071459412574768,
+    "predict_rouge1": 0.4145,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4487,
-    "predict_rougeLsum": 0.4479,
-    "predict_runtime": 561.0154,
+    "predict_rougeL": 0.415,
+    "predict_rougeLsum": 0.4143,
+    "predict_runtime": 2697.3303,
     "predict_samples": 3752,
-    "predict_samples_per_second": 6.688,
-    "predict_steps_per_second": 0.21
+    "predict_samples_per_second": 1.391,
+    "predict_steps_per_second": 0.044
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 7.534082864399155e+16,
-    "train_loss": 0.8313294962382637,
-    "train_runtime": 5163.645,
+    "total_flos": 4.90582346563584e+16,
+    "train_loss": 0.6208877221351247,
+    "train_runtime": 3924.9461,
     "train_samples": 14272,
-    "train_samples_per_second": 13.82,
-    "train_steps_per_second": 1.727
+    "train_samples_per_second": 18.181,
+    "train_steps_per_second": 1.136
 }

trainer_state.json

@@ -3,128 +3,128 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 8920,
+  "global_step": 4460,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 1.1375385522842407,
-      "learning_rate": 4e-05,
-      "loss": 1.2253,
-      "step": 1784
+      "grad_norm": 0.5049543976783752,
+      "learning_rate": 0.0008,
+      "loss": 0.8224,
+      "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6576545834541321,
-      "eval_rouge1": 0.4006,
+      "eval_loss": 0.5704124569892883,
+      "eval_rouge1": 0.6572,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.3969,
-      "eval_rougeLsum": 0.4007,
-      "eval_runtime": 113.3266,
-      "eval_samples_per_second": 6.618,
-      "eval_steps_per_second": 0.212,
-      "step": 1784
+      "eval_rougeL": 0.6564,
+      "eval_rougeLsum": 0.655,
+      "eval_runtime": 38.0247,
+      "eval_samples_per_second": 19.724,
+      "eval_steps_per_second": 0.631,
+      "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 1.6233590841293335,
-      "learning_rate": 3e-05,
-      "loss": 0.7893,
-      "step": 3568
+      "grad_norm": 0.47203755378723145,
+      "learning_rate": 0.0006,
+      "loss": 0.6196,
+      "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6133397817611694,
-      "eval_rouge1": 0.4188,
+      "eval_loss": 0.5431475043296814,
+      "eval_rouge1": 0.6602,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.4167,
-      "eval_rougeLsum": 0.4194,
-      "eval_runtime": 112.0833,
-      "eval_samples_per_second": 6.691,
-      "eval_steps_per_second": 0.214,
-      "step": 3568
+      "eval_rougeL": 0.6579,
+      "eval_rougeLsum": 0.6606,
+      "eval_runtime": 37.5492,
+      "eval_samples_per_second": 19.974,
+      "eval_steps_per_second": 0.639,
+      "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 1.4971694946289062,
-      "learning_rate": 2e-05,
-      "loss": 0.7351,
-      "step": 5352
+      "grad_norm": 0.5097192525863647,
+      "learning_rate": 0.0004,
+      "loss": 0.5778,
+      "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6062405109405518,
-      "eval_rouge1": 0.3925,
+      "eval_loss": 0.5372552871704102,
+      "eval_rouge1": 0.6757,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.3898,
-      "eval_rougeLsum": 0.3908,
-      "eval_runtime": 112.7718,
-      "eval_samples_per_second": 6.651,
-      "eval_steps_per_second": 0.213,
-      "step": 5352
+      "eval_rougeL": 0.6756,
+      "eval_rougeLsum": 0.6745,
+      "eval_runtime": 38.295,
+      "eval_samples_per_second": 19.585,
+      "eval_steps_per_second": 0.627,
+      "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 1.2644437551498413,
-      "learning_rate": 1e-05,
-      "loss": 0.7092,
-      "step": 7136
+      "grad_norm": 0.4385349154472351,
+      "learning_rate": 0.0002,
+      "loss": 0.5503,
+      "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.599039614200592,
-      "eval_rouge1": 0.3834,
+      "eval_loss": 0.525574266910553,
+      "eval_rouge1": 0.659,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.381,
-      "eval_rougeLsum": 0.3826,
-      "eval_runtime": 112.5655,
-      "eval_samples_per_second": 6.663,
-      "eval_steps_per_second": 0.213,
-      "step": 7136
+      "eval_rougeL": 0.6569,
+      "eval_rougeLsum": 0.6586,
+      "eval_runtime": 38.268,
+      "eval_samples_per_second": 19.599,
+      "eval_steps_per_second": 0.627,
+      "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 1.0209782123565674,
+      "grad_norm": 0.4007055461406708,
       "learning_rate": 0.0,
-      "loss": 0.6978,
-      "step": 8920
+      "loss": 0.5343,
+      "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5916664600372314,
-      "eval_rouge1": 0.3832,
+      "eval_loss": 0.5211541056632996,
+      "eval_rouge1": 0.6659,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.3816,
-      "eval_rougeLsum": 0.3824,
-      "eval_runtime": 112.9978,
-      "eval_samples_per_second": 6.637,
-      "eval_steps_per_second": 0.212,
-      "step": 8920
+      "eval_rougeL": 0.6648,
+      "eval_rougeLsum": 0.6661,
+      "eval_runtime": 38.0598,
+      "eval_samples_per_second": 19.706,
+      "eval_steps_per_second": 0.631,
+      "step": 4460
     },
     {
       "epoch": 5.0,
-      "step": 8920,
-      "total_flos": 7.534082864399155e+16,
-      "train_loss": 0.8313294962382637,
-      "train_runtime": 5163.645,
-      "train_samples_per_second": 13.82,
-      "train_steps_per_second": 1.727
+      "step": 4460,
+      "total_flos": 4.90582346563584e+16,
+      "train_loss": 0.6208877221351247,
+      "train_runtime": 3924.9461,
+      "train_samples_per_second": 18.181,
+      "train_steps_per_second": 1.136
     }
   ],
   "logging_steps": 500,
-  "max_steps": 8920,
+  "max_steps": 4460,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 7.534082864399155e+16,
-  "train_batch_size": 8,
+  "total_flos": 4.90582346563584e+16,
+  "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null
 }