End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.5140
-- Rouge1: 0.7665
+- Rouge1: 0.4728
 - Rouge2: 0.0
-- Rougel: 0.7672
-- Rougelsum: 0.7666
+- Rougel: 0.476
+- Rougelsum: 0.4715
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5651674866676331,
-    "eval_rouge1": 0.5057,
+    "eval_loss": 0.5139681696891785,
+    "eval_rouge1": 0.4728,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.5089,
-    "eval_rougeLsum": 0.5041,
-    "eval_runtime": 113.6801,
+    "eval_rougeL": 0.476,
+    "eval_rougeLsum": 0.4715,
+    "eval_runtime": 595.5082,
     "eval_samples": 749,
-    "eval_samples_per_second": 6.589,
-    "eval_steps_per_second": 0.211,
+    "eval_samples_per_second": 1.258,
+    "eval_steps_per_second": 0.04,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5693566203117371,
-    "predict_rouge1": 0.4215,
+    "predict_loss": 0.5017109513282776,
+    "predict_rouge1": 0.3936,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4224,
-    "predict_rougeLsum": 0.421,
-    "predict_runtime": 558.4539,
+    "predict_rougeL": 0.393,
+    "predict_rougeLsum": 0.3921,
+    "predict_runtime": 2904.2856,
     "predict_samples": 3762,
-    "predict_samples_per_second": 6.736,
-    "predict_steps_per_second": 0.211,
-    "total_flos": 7.495546629705523e+16,
-    "train_loss": 0.8330970066688868,
-    "train_runtime": 5165.2629,
+    "predict_samples_per_second": 1.295,
+    "predict_steps_per_second": 0.041,
+    "total_flos": 4.90272982695936e+16,
+    "train_loss": 0.6212816452231642,
+    "train_runtime": 3932.3471,
     "train_samples": 14263,
-    "train_samples_per_second": 13.807,
-    "train_steps_per_second": 1.726
+    "train_samples_per_second": 18.135,
+    "train_steps_per_second": 1.134
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5651674866676331,
-    "eval_rouge1": 0.5057,
+    "eval_loss": 0.5139681696891785,
+    "eval_rouge1": 0.4728,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.5089,
-    "eval_rougeLsum": 0.5041,
-    "eval_runtime": 113.6801,
+    "eval_rougeL": 0.476,
+    "eval_rougeLsum": 0.4715,
+    "eval_runtime": 595.5082,
     "eval_samples": 749,
-    "eval_samples_per_second": 6.589,
-    "eval_steps_per_second": 0.211
+    "eval_samples_per_second": 1.258,
+    "eval_steps_per_second": 0.04
 }

generated_predictions.txt

@@ -2,92 +2,92 @@ memiliki
 tersebut
 sudah
 a
-adalah
+lebih
 dari
 judi
 dalam
-
+1
 mudah
 baik
 yang
-memiliki
+lebih
 atau
 hal
-permainan
+menjadi
 karena
 sudah
 nya
 1
 dari
-bermain
+telah
 
-namun
+?
 
 "
-dari
+orang
 tahun
-dengan
+ini
 an
 7
 anda
 bisa
-7
-kamu
-karena
-uang
+an
+:
+
+menggunakan
 sudah
 .
 secara
 anda
 (
 "
-
-situs
+cara
+baik
 ?
 d
 
-oleh
+tersebut
 mereka
 4
 ini
 atau
-beberapa
-banyak
+dapat
+judi
 1
 a
-dengan
+baik
 memiliki
-4
+bisnis
 1
 uang
 juga
 ke
-dan
+seperti
 seperti
 
 cara
-baik
+hanya
 )
 dengan
 
 atau
 d
-seperti
-adalah
-secara
-bermain
+saya
+2
+akan
+bagi
 :
 ada
 tidak
-
+poker
 orang
-ke
-jika
+nya
+dapat
 6
 salah
-secara
+beberapa
 
-untuk
+adalah
 akan
 e
 sebagai
@@ -96,8 +96,8 @@ dalam
 
 
 lebih
-untuk
-
+hanya
+/
 kita
 .
 kami
@@ -105,65 +105,65 @@ bisa
 ,
 sudah
 tidak
-saat
-di
+indonesia
+ada
 4
 hal
 harus
 hanya
 dengan
 dengan
-lebih
+online
 )
 kita
-)
+jika
 tidak
 7
 dengan
 ,
 dengan
-5
+(
 -
-memiliki
+kita
 game
 juga
-t
-seperti
+k
+saat
 dalam
-/
+membuat
 "
 ,
 dengan
 atau
-saya
+4
 dan
 a
-menjadi
+pemain
 dan
-an
+satu
 satu
 ada
-bermain
-dapat
+game
+bisnis
 harus
 dapat
 dapat
 
 cara
-online
+3
 
 ada
-untuk
+situs
 itu
 nya
 kami
 
 -
-judi
+hanya
 online
 hanya
-jadi
-atau
+"
+poker
 saya
 membuat
 kami
@@ -173,77 +173,77 @@ di
 d
 satu
 yang
-dengan
-orang
+baik
+u
 sudah
 lebih
-poker
-dengan
+an
+hal
 akan
 
 menggunakan
-.
+saja
 adalah
-ada
-
+"
+untuk
 atau
 7
 saya
-pada
-kita
-harus
-i
-untuk
+nya
+an
+
+saat
+jika
 seperti
 0
 dalam
 
 anda
-/
+waktu
 
 ada
-di
+2
 atau
 lebih
 ini
-"
+a
 telah
 
 -
 nya
-memiliki
-juga
+1
+orang
 sudah
 1
-7
+ke
 2
 ke
 
 saat
 dari
 
-kan
+seperti
 indonesia
 menjadi
-saja
+namun
 dari
 secara
 0
-saya
-namun
+?
+mungkin
 indonesia
 a
-tersebut
+slot
 ,
-anda
+pemain
 anda
 adalah
-bisa
+terbaik
 dan
-i
-/
-anda
-.
+saat
+indonesia
+
+1
 orang
 4
 kamu
@@ -255,7 +255,7 @@ yang
 anda
 1
 dan
-hal
+indonesia
 tidak
 seperti
 2
@@ -263,22 +263,22 @@ kita
 e
 (
 4
-atau
+8
 ini
-7
+,
 .
-seperti
+3
 untuk
 memiliki
 yang
-
+juga
 akan
-membuat
+salah
 ,
--
-beberapa
+yang
+4
 e
-juga
+menjadi
 5
 
 banyak
@@ -287,98 +287,98 @@ adalah
 sudah
 ada
 kita
-/
+(
 t
-online
+(
 untuk
 o
 di
-secara
+membuat
 jika
-hal
-8
+5
+(
 hal
 yang
-para
-
-0
+ada
+apa
+2
 )
 ,
 tidak
 n
 dapat
 e
-dari
-anda
+tidak
+sangat
 
-baik
+banyak
 
-s
+dalam
 oleh
 
 1
-saat
+kamu
 kan
 mereka
-dan
+atau
 1
 
 atau
 judi
-0
+d
 atau
 menjadi
-:
-dari
-untuk
+1
+1
+kan
 banyak
 pada
-menggunakan
-harus
+2
+1
 -
-(
+poker
 kan
-semua
+bermain
 ini
 dengan
 dapat
 
 
 
-i
+tidak
 untuk
-orang
-situs
+3
+9
 atau
 satu
 untuk
-salah
+an
 cara
-a
-slot
-kami
+menjadi
+salah
+an
 ,
 memiliki
 harus
-poker
+membuat
 akan
 ,
 
 indonesia
-apa
+secara
 atau
 hanya
 2
 dengan
-/
+kamu
 
 yang
-lebih
+karena
 :
 online
 bermain
-tidak
-(
+bisa
+mereka
 adalah
 situs
 ada
@@ -387,220 +387,220 @@ saat
 sudah
 "
 dapat
-online
+ke
 dengan
 4
-secara
+3
 
 anda
 untuk
-4
-e
-
-saja
-dalam
+s
+"
+ke
+saja
+
 bisa
 pada
 .
-lebih
-/
+k
+salah
 yang
 satu
 
 
-orang
-slot
+"
+game
 saat
 nya
 judi
 dan
-saat
-oleh
+sangat
+hanya
 atau
 dengan
-u
+lebih
 saya
 banyak
 3
-satu
+kamu
 permainan
 ke
-hal
+cara
 saya
 salah
 5
 ada
-saat
+5
 itu
 .
 /
-kamu
+:
 yang
 
-i
-lain
+jika
+menggunakan
 dalam
-nya
-
+situs
+slot
 itu
-sebagai
-ingin
+9
+8
 satu
--
+memiliki
 dan
 ada
 dalam
-besar
-dengan
+hal
+h
 ,
-saja
+4
 pemain
 nya
 yang
 permainan
-banyak
+besar
 8
-(
-sebagai
+m
+-
 ,
 mereka
 ada
 9
 (
-mereka
+?
 nya
-)
-,
+oleh
+satu
 jika
 dan
-saja
-orang
+membuat
+itu
 0
 dapat
 oleh
 dapat
-karena
-indonesia
+bermain
+permainan
 yang
 
+lebih
+saja
+i
 3
-3
-slot
-untuk
 /
 dan
 6
 yang
 ,
-salah
+kan
 ,
 yang
 kita
-sangat
+oleh
 orang
 .
 
-saya
-3
+4
+ada
 9
 judi
-)
-para
-poker
-salah
-dengan
 lebih
+,
+mudah
+a
+dengan
+5
 hal
 saja
-kami
+oleh
 tidak
 dapat
 permainan
 tidak
-7
-sangat
+5
+kita
 situs
 hanya
 0
-terbaik
+besar
 secara
--
-maka
+
+0
 untuk
 hal
 dari
+akan
 
-
-mereka
-1
+6
+yang
 juga
 3
 itu
 pada
 
-yang
-/
-2
 kami
-8
+/
+tidak
+judi
+u
 -
 lebih
 
-
+membuat
 
 menjadi
 4
 i
-pada
+u
 saya
 )
-t
-akan
-permainan
-(
+5
+para
+dan
+3
 kami
-untuk
+salah
 
-saya
+9
 saat
 :
-4
+saja
 sebagai
-semua
+slot
 pada
 8
 juga
-menggunakan
-ingin
+juga
+beberapa
 pada
-9
-online
+game
+itu
 dalam
 ke
-dapat
-besar
+ke
+beberapa
 pada
 ,
 i
 ke
 atau
-satu
-oleh
-9
+e
+situs
+semua
 oleh
-tersebut
+lain
 k
-saya
+
 kan
 
 pada
 jika
 /
 e
-situs
-kan
+kami
+6
 e
-4
+bahwa
 atau
 kita
 nya
@@ -608,32 +608,32 @@ ini
 "
 -
 0
-adalah
+(
 pada
 oleh
 atau
 tidak
 saja
-saat
-e
+0
+"
 membuat
-beberapa
+saya
 8
-lebih
+?
 pada
-e
+oleh
 judi
 bahwa
-seperti
+beberapa
 itu
 yang
 ini
-tidak
+saja
 4
-bahwa
+secara
 oleh
-maka
-dan
+membuat
+membuat
 para
 )
 )
@@ -643,41 +643,41 @@ saja
 hal
 )
 /
-ada
+hari
 hal
 jika
-1
-secara
-baik
-s
-baik
+beberapa
+a
+indonesia
+anda
+–
 0
 karena
 tidak
-.
+sangat
 dari
-pada
-bisa
+5
+kami
 0
 i
-besar
+9
 dari
-bahwa
+kami
 ,
 ,
 orang
 s
 t
 adalah
-game
+o
 hanya
 d
-,
+0
 0
 untuk
 )
 dalam
-judi
+3
 dengan
 bermain
 dari
@@ -686,53 +686,53 @@ i
 
 s
 untuk
-sudah
-tidak
-
+mereka
+mendapatkan
+bisa
 .
 oleh
 mereka
 adalah
-kita
+sudah
 adalah
 saat
 situs
-semua
+k
 tidak
 salah
-saya
-ada
+7
+dapat
 pada
 .
 ini
 saya
-k
+online
 sebagai
 nya
 dari
 judi
 
-dapat
-pemain
-tahun
-s
+ada
+bisnis
+k
+salah
 :
 
 ,
-tidak
+menggunakan
 t
 adalah
-(
+jika
 -
 semua
-3
+tidak
 ,
 hal
-untuk
-2
-hanya
+
+1
+melakukan
 )
-dari
+kamu
 menjadi
 0
 mereka
@@ -741,16 +741,16 @@ tersebut
 i
 i
 .
-juga
+dari
 -
 .
 sudah
-poker
-"
+seperti
+online
 lebih
-dan
+e
 hanya
-telah
+apa
 itu
 tidak
 ?
@@ -759,104 +759,104 @@ online
 untuk
 dalam
 0
-juga
-harus
+k
+/
 s
 dalam
 
-apa
+cara
 :
-adalah
+poker
 2
-e
+n
 untuk
 
 ada
-saat
-dapat
+sudah
+judi
 1
 i
-.
+jadi
 6
 hal
 kita
 sangat
 dapat
 lebih
-ini
+7
 "
 dapat
-bahwa
-baru
-t
+dia
+salah
+yang
 sebagai
-saja
+tersebut
 ke
-hal
+di
 cara
 sudah
 .
-/
-permainan
-kan
-sangat
-
+1
+hal
+membuat
+mudah
+4
 0
 sangat
-nya
+bisa
 pada
 jadi
 
-menggunakan
-5
-seperti
-kan
+semua
+jika
+bermain
+kami
 di
-m
+untuk
 
 tidak
 
-harus
+tersebut
 an
 dalam
 yang
 game
 tersebut
-mereka
+besar
 dari
-saya
+k
 
 6
-dengan
-atau
-"
+adalah
+o
+cara
 a
-an
+4
 lebih
-s
+salah
 lebih
 yang
-orang
-pada
+e
+0
 cara
 anda
-kan
+indonesia
 juga
-kita
-tidak
+maka
+mereka
 
 bisa
-ada
-jika
+
+n
 tersebut
 (
 :
 /
-m
+4
 yang
 
 k
-cara
+–
 tidak
 dalam
 e
@@ -864,11 +864,11 @@ e
 anda
 secara
 ke
-/
-dan
-kan
+seperti
+mendapatkan
+yang
 
-9
+dapat
 akan
 dari
 kamu
@@ -877,48 +877,48 @@ anda
 anda
 dengan
 tersebut
-menggunakan
+hanya
 online
 lebih
 atau
 2
 e
-dengan
-situs
+
+permainan
 di
 
 
-)
+banyak
 dari
 i
 bahwa
-baik
-)
+ada
+d
 dapat
 uang
 dalam
 0
 juga
-tersebut
+7
 bisa
 indonesia
-jika
-besar
+tidak
+o
 yang
 dari
 banyak
 apa
 dari
 i
-menjadi
+/
 
 semua
 dari
 banyak
-?
+melakukan
 salah
-baik
-e
+maka
+7
 banyak
 cara
 dalam
@@ -926,16 +926,16 @@ dalam
 sangat
 s
 ada
-namun
+maka
 di
 adalah
 2
-
+,
 lebih
-tidak
+memiliki
 akan
 .
-bisa
+tidak
 
 atau
 ini
@@ -944,12 +944,12 @@ dalam
 kita
 2
 lebih
-saya
+memiliki
 oleh
 ,
 1
 u
-lain
+
 dalam
 ada
 anda
@@ -957,109 +957,109 @@ s
 banyak
 kan
 anda
-dalam
+nya
 1
 harus
-pada
+dalam
 anda
-untuk
+dia
 dan
 secara
 itu
-t
 ada
-saat
+ada
+saya
 juga
 atau
-6
-untuk
+semua
+telah
 jadi
-dalam
-dan
+e
 dan
-mereka
+atau
+tersebut
 
 sudah
-untuk
+apa
 7
 dalam
 harus
 untuk
 anda
 itu
-maka
-0
+hal
+ini
 (
-dengan
-bisnis
+
+maka
 ini
 cara
 atau
 bisa
 dengan
 mereka
-ini
+itu
 saat
-6
+3
 saja
 dengan
-dalam
+jika
 orang
 besar
 saya
 0
-adalah
-3
+nya
+sudah
 karena
 
-dapat
+banyak
 
 yang
 untuk
-5
+2
 e
 dapat
-karena
+cara
 i
 d
 online
 
-lebih
+u
 saja
 
-ini
-sebagai
-dan
+,
+salah
+u
 itu
-anda
+hal
 .
 -
 online
+bermain
 
-nya
 sangat
-kita
-hal
+anda
+bahwa
 kan
 atau
 membuat
-online
-judi
-akan
+sangat
+0
+u
 hanya
-yang
+mudah
 permainan
 yang
-ada
+kita
 anda
-s
+?
 anda
-pada
+adalah
 /
 kan
-para
+indonesia
 juga
-permainan
+dengan
 uang
 lain
 ini
@@ -1070,94 +1070,94 @@ dapat
 satu
 bagi
 1
-saya
-sudah
-jika
+9
+an
+-
 nya
 untuk
 ada
-permainan
-situs
-beberapa
-indonesia
+hanya
+/
+mendapatkan
+9
 (
-tidak
+kan
 3
 dalam
-0
-sudah
-secara
+7
+seperti
+
 ada
 
 sangat
-menjadi
+tersebut
 namun
 ,
 0
 juga
-seperti
+d
 0
 anda
 dan
-pada
+kan
 pemain
 anda
-mereka
+3
 i
 ,
-seperti
+trading
 nya
 slot
-maka
-cara
+secara
+3
 harus
 orang
 bahwa
 dengan
-situs
-9
+cara
+sangat
 untuk
 memiliki
 ,
-3
+u
 uang
-)
+.
 dengan
 banyak
-"
+setiap
 pada
 anda
-?
+bagi
 .
-dalam
-ke
+saja
+sendiri
 situs
-9
+slot
 an
 ,
-oleh
+mereka
 saja
-8
+an
 
-atau
+dan
 apa
-5
+satu
 )
-orang
+"
 anda
-poker
+m
 judi
 dapat
-kita
+:
 akan
 -
 online
-"
+/
 memiliki
 karena
-itu
+o
 mendapatkan
-1
+r
 "
 
 .
@@ -1166,53 +1166,53 @@ dari
 menggunakan
 e
 k
-n
-namun
-saat
+menggunakan
+adalah
+uang
 tersebut
-ke
+mereka
 yang
-pada
+bisnis
 adalah
-salah
+seperti
 oleh
-kan
+7
 bisa
-waktu
+p
 lebih
 bisa
 anda
 dengan
 
 m
-s
+
 .
 untuk
 atau
-nya
+juga
 
 lebih
-d
+besar
 2
-.
--
+u
+saya
 
 1
-hal
+banyak
 t
 3
-dengan
+saja
 0
-mereka
+menggunakan
 salah
 memiliki
-.
+saat
 i
 judi
 
-
+k
 untuk
-hal
+kamu
 bahwa
 lain
 pada
@@ -1221,85 +1221,85 @@ yang
 bisa
 dalam
 dengan
-tersebut
+harus
 anda
 
 dari
 online
 ada
-n
+banyak
 untuk
-tidak
+ini
 dalam
 untuk
-para
+lain
 dengan
 satu
-melakukan
-sangat
+"
+"
 oleh
 maka
 salah
 di
 akan
 di
-t
+ingin
 oleh
-online
+sudah
 hanya
-
+saya
 menjadi
-–
+pada
 bisa
 itu
-lebih
+u
 7
 terbaik
 kan
 
 akan
-jika
+indonesia
 dengan
 9
 kita
-atau
-i
+karena
+ingin
 akan
-t
-online
+/
+kita
 adalah
 
 r
 satu
 memiliki
 -
-d
-bahwa
+membuat
+kami
 ,
-yang
+dengan
 karena
 pada
 semua
 ada
-1
+dalam
 jika
-
+semua
 i
-3
-e
+ke
+t
 (
 besar
-
+–
 yang
 dapat
 untuk
 3
 dapat
 kita
-yang
+k
 8
 namun
-poker
+"
 
 sudah
 :
@@ -1307,29 +1307,29 @@ ke
 dan
 saja
 ini
-akan
-kan
+0
+i
 kita
 akan
 n
-jika
-tersebut
+permainan
+orang
 1
-judi
+salah
 yang
-bahwa
+8
 banyak
 untuk
-.
-online
+judi
+dan
 satu
-pada
+hanya
 permainan
 bisa
-1
-situs
-8
-saya
+kamu
+i
+salah
+e
 nya
 memiliki
 maka
@@ -1344,60 +1344,60 @@ lebih
 lebih
 0
 tersebut
-uang
-"
+-
+harus
 
-besar
+maka
 
 ,
 anda
 tersebut
 tidak
-(
-melakukan
+saja
+game
 ,
-salah
+di
 harus
 pada
 dari
 baik
-harus
-saya
+8
+9
 bisa
 
-
+semua
 4
-saya
+dalam
 
-indonesia
+mudah
 bisa
 u
-dari
+namun
 adalah
-ke
-k
+sangat
+7
 harus
 .
 i
 karena
-nya
-salah
+beberapa
+dapat
 satu
 di
 .
-sebagai
+/
 satu
-bahwa
+anda
 yang
 di
 akan
 4
-0
+melakukan
 secara
 .
 dalam
 
-5
+mereka
 menjadi
 cara
 3
@@ -1406,7 +1406,7 @@ adalah
 mereka
 salah
 ,
-harus
+1
 
 (
 (
@@ -1415,63 +1415,63 @@ nya
 ada
 -
 karena
-?
+seperti
 jadi
 dengan
-dari
+tidak
 adalah
 3
 mereka
-e
+kita
 4
 dengan
 ini
 ke
 maka
 
-9
-dari
+memiliki
+dalam
 bisa
-u
+1
 adalah
 mereka
 banyak
-karena
+sangat
 adalah
 saya
-u
+tidak
 dalam
 anda
 dalam
 dari
 0
 dalam
-dengan
-banyak
-memiliki
+ada
+membuat
+e
 dengan
 1
-an
-judi
-bisa
+8
+t
+dalam
 karena
 atau
-dari
+2
 akan
 0
 seperti
-3
+5
 dengan
 pada
 
-jika
-lebih
+5
+orang
 dalam
-dan
-4
-adalah
+0
+?
+membuat
 bisa
-kami
+7
 ini
 juga
 ada
@@ -1479,7 +1479,7 @@ apa
 6
 dan
 untuk
-bisa
+2
 i
 tidak
 .
@@ -1487,46 +1487,46 @@ tidak
 tersebut
 ini
 /
-.
-oleh
-itu
-dapat
-baru
-situs
+uang
+banyak
+lain
+nya
+setiap
+9
 slot
 
 
-nya
-bisa
+d
+orang
 8
-online
-hanya
+saat
+tetapi
 itu
-
+pada
 seperti
 satu
 ,
-
+,
 lebih
 
 hanya
 4
 online
-dengan
+lain
 nya
 karena
 8
-untuk
-/
-saya
-banyak
+pemain
+sangat
+n
+)
 tidak
 dari
 
-karena
-melakukan
+satu
+dan
 oleh
-ingin
+salah
 ke
 sudah
 harus
@@ -1538,58 +1538,58 @@ itu
 
 9
 menjadi
-3
+6
 dan
 
 an
-memiliki
+t
 jadi
 seperti
 pemain
-indonesia
+bisa
 dari
 3
+?
+satu
 dengan
-ini
-dengan
-harus
-banyak
+orang
+)
 0
-adalah
+d
 adalah
 hal
 anda
-saja
-oleh
+p
+beberapa
 "
 online
-di
-hanya
+akan
+baru
 membuat
 ada
 
-anda
+para
 hanya
-7
+t
 anda
 akan
 juga
 3
-untuk
-menggunakan
-7
+anda
+apa
+6
 akan
 harus
 2
 
-setiap
+permainan
 e
 
-indonesia
+membuat
 akan
 ?
-untuk
-hal
+banyak
+indonesia
 ke
 
 0
@@ -1598,34 +1598,34 @@ di
 di
 8
 cara
-akan
+0
 dengan
-membuat
+beberapa
 lebih
 8
 s
 -
-untuk
-sangat
-bermain
-8
+baik
+harga
 situs
-
-juga
+8
+uang
+bisnis
+bisa
 harga
 bahwa
 untuk
 yang
-kita
+ke
 dalam
 
-tersebut
+hal
 sebagai
 yang
-harus
+sangat
 yang
 
-bahwa
+membuat
 atau
 untuk
 .
@@ -1634,16 +1634,16 @@ anda
 
 k
 pada
-maka
-d
+memiliki
+kita
 ke
 kamu
 (
 sebagai
-online
+atau
 dengan
-)
 banyak
+6
 :
 0
 
@@ -1652,29 +1652,29 @@ baik
 "
 a
 
-atau
+hanya
 itu
 tidak
 ,
 baik
-4
-harga
+saya
+tahun
 jadi
-waktu
+kami
 sebagai
 dalam
-tahun
+namun
 menjadi
 untuk
 7
 bagi
 ini
 i
-)
-8
-telah
-akan
-harus
+besar
+a
+situs
+atau
+4
 1
 bisnis
 dengan
@@ -1682,84 +1682,84 @@ dengan
 a
 ini
 bisa
-di
-hanya
+untuk
+melakukan
 anda
 lebih
-–
+/
 yang
 ini
-seperti
-1
+secara
+:
 bahwa
 sangat
-membuat
-satu
-ini
+besar
+saat
+judi
 nya
-bisa
-d
+bagi
 d
-baik
+4
+ke
 pemain
-dan
+kan
 i
-u
+bisa
 orang
 sebagai
 telah
-beberapa
-
+atau
+mudah
 
 di
 yang
 (
 atau
 yang
-a
+baik
 dengan
 menjadi
-harus
+sangat
 
 semua
 kan
 :
 semua
-online
-untuk
-a
-mendapatkan
+8
+slot
+indonesia
+u
 oleh
 
 ke
 ini
 memiliki
 k
-dalam
-1
+.
+dapat
 jika
-bahwa
+:
 adalah
 bahwa
-i
+7
 e
 juga
 juga
-kan
+9
 anda
 melakukan
-tersebut
+cara
 juga
 ada
 menjadi
 atau
-8
-"
+sudah
+judi
 menjadi
-harus
+e
 dan
 situs
-"
+oleh
 lebih
 kita
 ada
@@ -1768,11 +1768,11 @@ yang
 baik
 hanya
 yang
-.
+ada
 anda
 pada
-kan
-dalam
+7
+tahun
 dalam
 anda
 judi
@@ -1781,20 +1781,20 @@ tersebut
 beberapa
 jika
 sebagai
-bisa
-menggunakan
 atau
+semua
+tidak
 situs
-cara
-dan
-sangat
+6
+game
+indonesia
 anda
 itu
 
 6
 s
-bisa
-uang
+8
+"
 kita
 )
 ada
@@ -1802,26 +1802,26 @@ e
 pemain
 a
 dan
-
-di
-)
+hal
+"
+karena
 (
 e
 /
-9
+bagi
 di
+yang
+online
 ini
-(
-ini
-anda
+2
 n
-9
+membuat
 
 online
 8
 jika
 satu
-menjadi
+karena
 tidak
 dengan
 dari
@@ -1829,39 +1829,39 @@ dari
 hal
 ke
 ,
-situs
+5
 k
 
 harus
 di
-(
-jika
+saat
+kami
 untuk
 5
 ke
 kamu
-satu
-memiliki
+orang
+oleh
 bisa
-maka
-bahwa
-d
+besar
+dapat
+hanya
 dari
 an
 dengan
 akan
-atau
+mereka
 pada
 memiliki
 -
 
 s
-kami
+pada
 9
-harus
+e
 memiliki
 ke
-satu
+.
 0
 kamu
 .
@@ -1869,39 +1869,39 @@ kamu
 adalah
 ke
 
-3
-indonesia
-lain
-s
+menjadi
+a
+judi
+tidak
 di
-bisa
+mendapatkan
 adalah
-t
+salah
 lebih
-juga
+permainan
 saja
-kita
+sangat
 di
 bisa
 8
-dari
+dalam
 :
 an
-menggunakan
+d
 mereka
 k
-indonesia
-dan
+sebagai
+poker
 di
 hanya
 t
-sudah
+5
 lebih
 
 online
 tersebut
 :
-dalam
+itu
 k
 m
 tidak
@@ -1910,23 +1910,23 @@ dengan
 s
 di
 .
-banyak
-.
-2
-menjadi
-banyak
+hal
+baru
+bermain
+saja
+harus
 9
 
-dan
+itu
 d
-s
-lebih
 jika
+lebih
+beberapa
 pada
-menjadi
+banyak
 nya
 i
-di
+
 2
 t
 itu
@@ -1935,18 +1935,18 @@ bermain
 kami
 itu
 oleh
-baik
+bermain
 cara
 maka
 untuk
 -
-satu
+adalah
 tahun
 1
 ?
-mereka
-itu
-kita
+online
+-
+kan
 hanya
 menggunakan
 0
@@ -1955,36 +1955,36 @@ ini
 di
 juga
 akan
-d
-8
 maka
-"
+bagi
+saja
+situs
 hal
 :
-game
-
+tahun
+anda
 :
 e
 seperti
-dalam
+
 a
 harus
 tidak
 i
 hal
-saya
+hari
 di
-jika
-apa
-semua
+online
+lebih
+m
 a
 
 anda
 
-anda
+.
 online
-oleh
-i
+sudah
+apa
 membuat
 ini
 an
@@ -1993,65 +1993,65 @@ saja
 sudah
 adalah
 /
--
-.
-an
+nya
+/
+kan
 banyak
 tersebut
 besar
-dari
+di
 dengan
-cara
-i
+orang
+ada
 (
 kita
 lain
 
 yang
 i
+tidak
 untuk
-oleh
-u
-cara
+menggunakan
+harus
 u
 ini
 0
-harus
+sangat
 dan
 waktu
 
-1
-jika
+kamu
+setiap
 saya
-harus
-tidak
-kami
-harus
-juga
+para
+itu
+maka
+sebagai
+atau
 yang
-perlu
+besar
 s
-itu
+,
 0
 kan
 saya
 yang
-saja
+baik
 dengan
 3
 mereka
 dapat
-ada
+melakukan
 banyak
 nya
-e
-–
+situs
+nya
 2
 dan
 online
 4
-mudah
-0
+kan
+beberapa
 .
 9
 dari
@@ -2059,16 +2059,16 @@ dari
 untuk
 /
 tidak
-bahwa
+maka
 i
-anda
-hal
+uang
+dan
 :
-di
-dapat
-nya
+para
+ingin
+dengan
 bisa
-saat
+8
 dengan
 ?
 1
@@ -2078,27 +2078,27 @@ banyak
 
 yang
 situs
-e
+7
 di
 judi
-karena
+/
 dengan
 lebih
 (
-(
+maka
 nya
 a
 3
-satu
+s
 nya
 situs
 yang
-4
-dan
+9
+menjadi
 
 "
 seperti
-t
+tidak
 satu
 tahun
 yang
@@ -2109,25 +2109,25 @@ menggunakan
 an
 akan
 situs
-karena
-
 )
-jika
-bagi
+
+saya
+bisa
+a
 bahwa
 apa
 /
 untuk
 yang
-tidak
+perlu
 atau
 bermain
-oleh
+saat
 dapat
-satu
+akan
 )
 :
-judi
+kamu
 yang
 dan
 9
@@ -2135,54 +2135,54 @@ dan
 jadi
 
 )
-dengan
+harga
 /
 tahun
-sudah
-bisa
+memiliki
+an
 hal
 adalah
-online
+kamu
 lebih
-oleh
-situs
-dari
+judi
+kami
+tidak
 banyak
-besar
+.
 
 yang
 dan
-hal
+uang
 8
 a
-o
-seperti
+pada
+membuat
 
 s
 di
-permainan
+6
 0
 ini
-bisa
+seperti
 dalam
-d
+maka
 saya
-satu
+jika
 lebih
 situs
 untuk
 dapat
-o
+d
 online
 karena
-uang
+r
 ini
 permainan
 ini
-atau
+kita
 di
 harus
-(
+terbaik
 saat
 nya
 saja
@@ -2192,33 +2192,33 @@ anda
 a
 kami
 akan
-ini
-telah
+g
+game
 dan
-1
+a
 
 0
 
 orang
-
+game
 membuat
 untuk
 untuk
-tersebut
-
+?
+a
 pada
 
-8
+:
 d
 beberapa
-ini
+melakukan
 (
 memiliki
 /
 dengan
 d
 i
-para
+uang
 online
 akan
 yang
@@ -2232,7 +2232,7 @@ beberapa
 di
 juga
 di
-anda
+mereka
 akan
 ke
 
@@ -2242,70 +2242,70 @@ untuk
 
 s
 yang
-permainan
+sebagai
 cara
 kami
-jika
-d
+baik
+m
 ini
-lebih
 online
+seperti
 adalah
-untuk
+saya
 slot
-sudah
+lebih
 0
 saya
-namun
-kamu
+lain
+indonesia
 oleh
-3
-permainan
+tidak
+karena
 dan
 3
 beberapa
-
+besar
 a
-semua
+memiliki
 dan
 k
 indonesia
-saya
+4
 -
 di
 ini
 bahwa
 tersebut
-pada
-melakukan
+s
+setiap
 itu
 saat
 harus
 s
-cara
+4
 
-.
+sudah
 dari
 pada
 ,
 judi
 maka
 8
-karena
+(
 indonesia
 saya
-slot
-bagi
+banyak
+indonesia
 s
 d
-dan
+di
 0
 2
-membuat
-saja
-s
+lebih
+(
+nya
 
-menjadi
+itu
 /
 e
 di
@@ -2313,26 +2313,26 @@ di
 
 bermain
 menjadi
-e
+hanya
 jika
-untuk
-bahwa
+,
+maka
 dapat
-secara
+harus
 .
 dari
-besar
 kami
+e
 nya
-maka
+membuat
 .
 sebagai
-slot
+mungkin
 tidak
 sudah
 2
-dalam
-7
+2
+game
 0
 6
 )
@@ -2342,110 +2342,110 @@ adalah
 sudah
 bermain
 
-9
+telah
 lebih
 dengan
-sangat
+banyak
 lebih
 dapat
-(
+maka
 0
-judi
+nya
 akan
-2
-5
+hari
+banyak
 jika
 ke
 saja
-8
-
+an
+t
 beberapa
 
 hanya
 dengan
 banyak
 menjadi
-a
+1
 tersebut
 -
 i
-n
-9
+(
+satu
 dapat
 -
 di
-e
+secara
 membuat
-
+?
 besar
 juga
-4
-3
+kita
+pemain
 1
-4
-o
-a
+?
+t
+:
 yang
 maka
 yang
 karena
 indonesia
-
+bisa
 lebih
 dalam
-ada
+telah
 untuk
 1
 5
 dan
 hal
 kita
-semua
+4
 
 itu
 judi
-tersebut
+sangat
 secara
 adalah
 bisa
-:
-satu
-d
+jika
+indonesia
+lain
 2
 "
 ke
 sangat
-mereka
+harus
 kami
-tidak
-lebih
+0
+mereka
 )
 9
-5
-/
+semua
+situs
 cara
 harus
 i
 5
-a
+tahun
 hal
 dan
 seperti
 anda
-6
-judi
-cara
+ingin
+juga
+dalam
 
-atau
+a
 nya
 judi
 harus
 kamu
 .
-orang
-ini
-secara
-hal
+bermain
+9
+6
+para
 salah
 saat
 2
@@ -2454,92 +2454,92 @@ memiliki
 7
 anda
 namun
-ini
+t
 )
 akan
-baik
+e
 dari
 itu
-juga
+s
 dan
 atau
 oleh
 /
 i
-ini
+judi
 ,
-
+:
 
 
 slot
-orang
-ada
+saja
+hanya
 ini
-8
+itu
 dapat
+:
 oleh
-kamu
-membuat
-1
-ini
+poker
+sangat
+orang
 telah
 
 memiliki
-permainan
-jika
+i
+banyak
 -
 mereka
 satu
-di
+2
 0
-jika
+1
 /
-e
+permainan
 juga
 sudah
 dalam
 3
-.
-namun
+setiap
+saya
 saja
 besar
 
-ini
+a
 i
 banyak
-:
+lain
 i
 memiliki
-dapat
-saya
+pada
+4
 maka
 
 ini
-(
+6
 0
-yang
+judi
 ke
 1
 nya
 bisa
 tidak
-hal
+saja
 sebagai
 t
-(
+an
 dari
 situs
 judi
 besar
 dalam
 -
-saya
-seperti
+harus
+slot
 1
-dari
+online
 di
-9
-i
+seperti
+orang
 akan
 
 k
@@ -2555,8 +2555,8 @@ kami
 sebagai
 d
 .
-sebagai
-d
+an
+an
 juga
 -
 ,
@@ -2564,35 +2564,35 @@ situs
 anda
 bisa
 kita
-dengan
-mereka
+waktu
 mereka
-atau
+jika
+situs
 0
-s
+–
 8
 5
-untuk
-pada
-
+saat
+orang
+m
 sangat
 nya
-bermain
+apa
 6
 .
-salah
+u
 u
 adalah
 -
 dengan
-t
+u
 u
 adalah
 )
-semua
-ada
-bahwa
-indonesia
+mudah
+baik
+4
+u
 anda
 pada
 sangat
@@ -2603,72 +2603,72 @@ tersebut
 jika
 :
 saya
-u
+hanya
 beberapa
 (
 juga
-1
+beberapa
 9
 itu
-4
-4
+namun
+a
 2
-7
+secara
 .
-maka
+?
 online
-dengan
-pada
 
+pada
+,
 
-yang
-kami
-k
+orang
+d
+9
 .
+namun
+secara
 judi
-kan
-beberapa
 
-permainan
-cara
-sebagai
-i
-t
+
+sudah
+nya
+e
+u
 satu
 dalam
 bisa
 dan
-game
-waktu
+atau
+dan
 sudah
 
-memiliki
+
 online
 -
 akan
 anda
-8
+cara
 akan
 untuk
-1
-s
-permainan
-atau
+melakukan
+u
+sangat
+kan
 maka
 karena
 saat
 beberapa
 online
 yang
+akan
 -
--
+)
+9
 
-setiap
-secara
 3
-lain
+2
 ada
-bisnis
+melakukan
 (
 t
 nya
@@ -2676,55 +2676,55 @@ ini
 ingin
 game
 itu
-situs
+saat
 memiliki
 anda
-k
+orang
 atau
-dengan
-poker
+1
+juga
 anda
 banyak
-permainan
+t
 an
 online
 
 an
 tidak
-
+,
 oleh
 dan
 
 )
 di
-permainan
+d
 dan
 lebih
 8
-d
-saya
+karena
+indonesia
 juga
 jika
 -
-melakukan
+k
 :
-online
+7
 namun
 ,
 dari
 untuk
 hanya
-game
+situs
 bermain
 banyak
 juga
 saat
 untuk
-e
+"
 u
 untuk
-jika
-kita
+dapat
+sebagai
 a
 karena
 ini
@@ -2733,40 +2733,40 @@ yang
 situs
 hal
 bermain
-yang
+o
 menjadi
+namun
 
-
-)
-dalam
-sangat
-orang
+poker
+melakukan
+tersebut
+sudah
 poker
 anda
 jika
 ini
-(
+seperti
 t
+7
+di
+a
 2
-satu
-sudah
-2
-tidak
+
 dalam
 pada
--
-saya
+7
+(
 e
 -
 
-online
-s
-waktu
-kami
-bisa
-baru
-sebagai
-
+u
+kita
+baik
+sangat
+bermain
+pemain
+indonesia
+menjadi
 itu
 permainan
 ke
@@ -2774,7 +2774,7 @@ ini
 anda
 
 dari
-cara
+kami
 situs
 karena
 lebih
@@ -2784,10 +2784,10 @@ i
 atau
 pada
 untuk
-saat
+"
 saja
 di
-dapat
+kamu
 ini
 salah
 e
@@ -2795,7 +2795,7 @@ itu
 :
 akan
 1
-yang
+tidak
 mereka
 maka
 bisnis
@@ -2805,41 +2805,41 @@ lebih
 satu
 
 :
-3
+saya
 s
-maka
+indonesia
 itu
 i
-t
+bahwa
 sangat
-)
-menggunakan
+sudah
+memiliki
 (
 .
-9
-i
+judi
+akan
 karena
-t
-)
+maka
+hanya
 tersebut
 besar
 1
 karena
 -
 dari
-orang
+.
 cara
 ,
 online
-telah
+game
 dari
 s
 bagi
 s
-?
+game
 semua
 ,
-kan
+bermain
 5
 secara
 bahwa
@@ -2847,36 +2847,36 @@ kita
 tersebut
 besar
 ke
-mungkin
+indonesia
 itu
 dalam
-3
-waktu
-untuk
+semua
+yang
+ada
 ini
-banyak
+namun
 sebagai
-uang
-1
+mereka
+tahun
 nya
-permainan
-indonesia
+secara
+6
 game
 8
-lain
+?
 oleh
-para
-,
+kan
+9
 akan
 akan
-banyak
+menjadi
 )
 satu
-hanya
+yang
 )
-.
+?
 ini
-sudah
+telah
 ?
 saat
 pada
@@ -2884,7 +2884,7 @@ hal
 dan
 8
 seperti
-1
+a
 harus
 kamu
 bahwa
@@ -2895,75 +2895,75 @@ dalam
 itu
 mereka
 ini
-pada
-di
+bahwa
+sangat
 beberapa
 secara
 m
 9
-kan
+4
 juga
 harus
-orang
+sebagai
 ini
-2
+a
 ini
 
 ada
 waktu
-k
+semua
 oleh
 di
 lain
 dan
 hal
-saat
+sebagai
 .
 3
-permainan
-kita
-o
+apa
+memiliki
+mudah
 menjadi
 judi
 harus
-.
+dan
 sebagai
-saat
+sudah
 cara
 .
 sangat
 hal
 oleh
-tersebut
+3
 yang
-a
-oleh
+0
+t
 indonesia
 ada
-secara
-beberapa
+slot
+kamu
 dari
 hanya
 dari
 oleh
-melakukan
-1
+di
+ada
 membuat
 dan
-nya
-judi
+membuat
+?
 di
 atau
-)
+akan
 
 karena
 bisnis
 k
 karena
 oleh
-pada
-sangat
-dalam
+a
+
+judi
 -
 memiliki
 hal
@@ -2971,35 +2971,35 @@ anda
 itu
 bisa
 untuk
-bahwa
-waktu
+"
+slot
 s
 juga
-kita
+atau
 dan
 2
 1
 harus
 9
 
-
+9
 s
 banyak
-/
-memiliki
-0
+melakukan
+sudah
+permainan
 pada
-e
-game
-?
+tersebut
+hal
+orang
 s
 mereka
 dalam
-online
+lebih
 sudah
 dalam
 orang
-yang
+untuk
 sebagai
 yang
 dari
@@ -3009,46 +3009,46 @@ mereka
 bisa
 dari
 5
-?
+1
 
 kita
-banyak
-besar
-permainan
+adalah
+hanya
+judi
 an
-
+masih
 kan
 kita
 
 itu
 juga
 dan
-anda
+lebih
 atau
 
-salah
+e
 
 dalam
 dalam
 
 tersebut
-online
+lebih
 adalah
 saya
-pada
-s
-3
+1
+sebagai
+saat
 yang
-2
-harus
-tidak
+9
+hal
+ke
 ,
 
 (
 nya
 sangat
 oleh
-t
+hanya
 -
 banyak
 hal
@@ -3059,37 +3059,37 @@ saja
 jika
 
 
-memiliki
-salah
+dengan
+bagi
 lebih
 :
-5
+di
 dengan
 ada
 seperti
 situs
-nya
+1
 anda
 dari
-tersebut
-juga
-itu
-beberapa
-m
+saat
+(
+orang
+d
+ingin
 .
-9
+telah
 situs
 
 kamu
-orang
-7
+seperti
+saya
 ada
 untuk
-atau
-di
-dan
-dapat
-4
+kan
+anda
+game
+tersebut
+/
 itu
 banyak
 membuat
@@ -3099,28 +3099,28 @@ tidak
 8
 saat
 karena
-juga
-hal
-t
+atau
+uang
+menggunakan
 tidak
 /
-
+online
 2
-uang
-mereka
-maka
+namun
+itu
+kami
 online
 7
-.
-sangat
+?
+sebagai
 kan
-an
-bisa
+telah
+lebih
 tidak
-bisa
+p
 anda
 ,
-ini
+dengan
 8
 :
 .
@@ -3129,18 +3129,18 @@ ini
 .
 beberapa
 dan
-dengan
+sudah
 sebagai
 melakukan
-ini
-u
+uang
+hanya
 seperti
 akan
 online
 s
 e
-harus
-r
+kami
+an
 i
 1
 juga
@@ -3149,13 +3149,13 @@ bisa
 game
 lebih
 
-maka
+d
 e
 situs
 saat
 akan
 dalam
-tersebut
+sebagai
 secara
 dalam
 anda
@@ -3165,12 +3165,12 @@ ini
 beberapa
 5
 bisa
-"
+hal
 di
 
 2
-seperti
-hanya
+6
+?
 
 dengan
 i
@@ -3178,27 +3178,27 @@ atau
 semua
 saja
 lebih
-(
-3
-kami
+dapat
+seperti
+online
 
 
 dan
-:
+saja
 anda
 yang
 tahun
-anda
+ada
 akan
 untuk
-bahwa
+saja
 ini
 (
 1
-.
-para
+mendapatkan
+juga
 1
-dengan
+r
 atau
 itu
 karena
@@ -3206,50 +3206,50 @@ dalam
 kita
 k
 itu
-secara
+bahwa
 atau
-an
+saya
 ada
 (
-0
+9
 slot
 s
 tersebut
-sebagai
+sangat
 i
 an
 a
-membuat
+e
 kamu
 t
 .
 di
 baik
 
-membuat
+karena
 menjadi
 beberapa
-sebagai
+maka
 
-ada
+apa
 situs
 saat
-.
+namun
 lain
 itu
 
 akan
 .
 slot
-anda
+6
 s
-adalah
+ada
 t
 bahwa
-kita
-
-salah
-cara
+kan
+nya
+saja
+saat
 untuk
 orang
 mereka
@@ -3259,35 +3259,35 @@ ini
 nya
 -
 untuk
-9
+an
 dalam
 jadi
-7
+kami
 game
 ini
-namun
-masih
+juga
+hanya
 9
-cara
+an
 
 akan
 kamu
 saya
-karena
+an
 
 dapat
 9
-(
+juga
 
 "
 kami
-harus
-
-besar
+uang
+poker
+menjadi
 kita
-situs
+jika
 1
-7
+5
 yang
 
 menjadi
@@ -3304,59 +3304,59 @@ k
 satu
 0
 melakukan
-,
+)
 0
-ke
-sangat
+m
+”
 2
-ke
-itu
+
+juga
 
 nya
 atau
 /
 akan
-untuk
-a
+saya
+tersebut
 atau
-
+ini
 (
 kami
-karena
-8
+oleh
+saya
 dan
 tidak
 juga
 4
-9
 dari
-permainan
-,
+dari
+situs
+oleh
 
 menjadi
 salah
 lebih
-s
+
 d
 (
-saat
-4
+cara
+bisa
 karena
 a
-7
+besar
 u
-juga
+itu
 "
 kami
 .
-
-karena
+judi
+r
 kan
 d
 orang
-besar
+saja
 nya
-itu
+bermain
 d
 )
 1
@@ -3367,212 +3367,212 @@ yang
 bisa
 sangat
 
-bagi
+melakukan
 
-kamu
-nya
+secara
+pada
 3
-judi
-telah
+kamu
+para
 permainan
-salah
-lebih
+bermain
+untuk
 dari
 menjadi
 salah
-k
-anda
+u
+t
 online
 hal
 9
 online
-kita
+itu
 satu
 ada
 bisa
 kita
 beberapa
-yang
-pada
-maka
+kamu
+bahwa
+beberapa
 lebih
-ke
-adalah
-ini
-kan
+ke
+kami
+sama
+hanya
 kan
 kami
-:
-saat
+mereka
+semua
 0
-
+dan
 harus
 -
 tidak
-
+k
 lebih
+ada
 karena
-bisnis
-permainan
+d
 )
-e
+6
 8
 baik
 sudah
 ,
-mereka
+judi
 dalam
 1
 ada
-ada
 
-?
-3
+
+semua
+juga
 0
 ,
-membuat
+e
 
-?
-mereka
+sebagai
+poker
 ada
-adalah
+memiliki
 tidak
 banyak
-(
+beberapa
 cara
-?
-tidak
+poker
+di
 hal
-tersebut
+kami
 ,
-2
+saat
 -
-u
+bahwa
 baik
 1
-dengan
-untuk
 
+t
+8
 ini
 menjadi
 baik
 anda
 k
-saja
+harus
 adalah
-judi
-dan
+saja
+sebagai
 kita
-4
+bahwa
 a
-6
+tahun
 9
-maka
+apa
 online
 sebagai
 di
-online
-baik
+slot
+0
 2
 anda
 2
 nya
 baru
-memiliki
+saja
 tidak
-hal
+slot
 karena
-6
-harus
+baik
+
 0
 dan
-)
+(
 sudah
-saja
+poker
 karena
 
 4
 atau
 seperti
-permainan
+beberapa
 memiliki
 
 dalam
 membuat
-ini
+hanya
 yang
 ,
-dari
+ke
 s
 4
 situs
-
+satu
 orang
 lain
 ,
-nya
--
-untuk
-salah
+adalah
+dalam
+kamu
+poker
 ,
 besar
 0
-mudah
+baik
 tidak
 bisa
 lebih
-anda
-judi
+bagi
+hanya
 sangat
-/
+t
 4
-telah
-akan
-yang
-saya
+kami
+1
+k
+t
 .
 k
 hanya
-secara
+apa
 tersebut
 anda
 (
-e
-para
+secara
+judi
 -
 
-di
-memiliki
+kita
+karena
 sebagai
-harus
+tersebut
 1
 bahwa
-n
+saat
 1
 (
-satu
+dari
 ada
-bisa
+a
 2
-perlu
-orang
+beberapa
+salah
 9
 dalam
-permainan
+situs
 
 tidak
 juga
 situs
-.
-k
-sebagai
-para
+beberapa
+kamu
+bahwa
+poker
 p
-sebagai
+terbaik
 untuk
-"
+9
 nya
-tersebut
+saat
 ?
 untuk
 pada
@@ -3583,53 +3583,53 @@ juga
 an
 untuk
 tidak
-secara
+harga
 yang
 harus
 membuat
 harus
-besar
-saya
+apa
+seperti
 nya
 lebih
 sebagai
-/
-kamu
+hanya
 kamu
+6
 2
 1
 bahwa
 saya
 ini
-tahun
-ada
+menjadi
+sangat
 ini
-beberapa
+orang
 dalam
-,
-sangat
+)
+banyak
 (
 0
-a
-telah
+tahun
+/
 pada
-kamu
+k
 dengan
 bahwa
 sangat
-"
-itu
+seperti
+ke
 
 satu
 karena
 atau
 dan
-itu
+atau
 an
 (
 cara
 indonesia
-memiliki
+juga
 k
 dari
 sudah
@@ -3637,15 +3637,15 @@ dan
 :
 atau
 
-situs
+mereka
 dengan
 
-menjadi
+tersebut
 k
-m
+menjadi
 anda
 nya
-di
+ada
 dapat
 situs
 bisa
@@ -3653,7 +3653,7 @@ bisa
 dari
 dan
 mereka
-a
+bermain
 dapat
 yang
 7
@@ -3661,57 +3661,57 @@ di
 9
 
 untuk
-bahwa
-/
+menjadi
+3
 1
-hal
+kamu
 /
--
+d
 nya
-dengan
+judi
 dan
 
-semua
+saat
 p
 pada
 
-:
+k
 ada
 2
-d
-semua
+baik
+namun
 pada
 i
 dalam
 u
-indonesia
+telah
 saya
-permainan
+kami
 nya
 s
 dengan
-besar
+dengan
 
 para
-a
+sangat
 kamu
 di
 
-3
-besar
+sudah
+maka
 situs
 online
 sudah
-kamu
-saya
+besar
+
 anda
-:
+sudah
 an
 nya
 kita
 0
 indonesia
-9
+an
 memiliki
 yang
 a
@@ -3720,42 +3720,42 @@ kita
 1
 slot
 anda
-bisa
-
+hal
+permainan
 dengan
 
-banyak
+orang
 sebagai
-2
+orang
 an
 0
-dapat
+adalah
 permainan
 
-apa
-online
-harus
+6
+saja
+tersebut
 satu
 "
 pada
 seperti
 sudah
 
-orang
+0
 kami
 -
 dan
 2
 ,
-tersebut
+ini
 saya
-judi
+9
 permainan
 oleh
 saya
-dalam
+berbagai
 untuk
-2
+dengan
 menggunakan
-permainan
+hanya
 

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5693566203117371,
-    "predict_rouge1": 0.4215,
+    "predict_loss": 0.5017109513282776,
+    "predict_rouge1": 0.3936,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4224,
-    "predict_rougeLsum": 0.421,
-    "predict_runtime": 558.4539,
+    "predict_rougeL": 0.393,
+    "predict_rougeLsum": 0.3921,
+    "predict_runtime": 2904.2856,
     "predict_samples": 3762,
-    "predict_samples_per_second": 6.736,
-    "predict_steps_per_second": 0.211
+    "predict_samples_per_second": 1.295,
+    "predict_steps_per_second": 0.041
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 7.495546629705523e+16,
-    "train_loss": 0.8330970066688868,
-    "train_runtime": 5165.2629,
+    "total_flos": 4.90272982695936e+16,
+    "train_loss": 0.6212816452231642,
+    "train_runtime": 3932.3471,
     "train_samples": 14263,
-    "train_samples_per_second": 13.807,
-    "train_steps_per_second": 1.726
+    "train_samples_per_second": 18.135,
+    "train_steps_per_second": 1.134
 }

trainer_state.json

@@ -3,128 +3,128 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 8915,
+  "global_step": 4460,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 2.1129989624023438,
-      "learning_rate": 4e-05,
-      "loss": 1.2298,
-      "step": 1783
+      "grad_norm": 0.6163806319236755,
+      "learning_rate": 0.0008,
+      "loss": 0.8212,
+      "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6183177828788757,
-      "eval_rouge1": 0.5036,
+      "eval_loss": 0.5616050362586975,
+      "eval_rouge1": 0.77,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.5051,
-      "eval_rougeLsum": 0.5002,
-      "eval_runtime": 113.5797,
-      "eval_samples_per_second": 6.594,
-      "eval_steps_per_second": 0.211,
-      "step": 1783
+      "eval_rougeL": 0.7703,
+      "eval_rougeLsum": 0.7685,
+      "eval_runtime": 38.5385,
+      "eval_samples_per_second": 19.435,
+      "eval_steps_per_second": 0.623,
+      "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 1.2814314365386963,
-      "learning_rate": 3e-05,
-      "loss": 0.7893,
-      "step": 3566
+      "grad_norm": 0.7340933680534363,
+      "learning_rate": 0.0006,
+      "loss": 0.6185,
+      "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5936142802238464,
-      "eval_rouge1": 0.5166,
+      "eval_loss": 0.5592873096466064,
+      "eval_rouge1": 0.7457,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.5199,
-      "eval_rougeLsum": 0.5139,
-      "eval_runtime": 113.8839,
-      "eval_samples_per_second": 6.577,
-      "eval_steps_per_second": 0.211,
-      "step": 3566
+      "eval_rougeL": 0.7436,
+      "eval_rougeLsum": 0.7441,
+      "eval_runtime": 38.0734,
+      "eval_samples_per_second": 19.673,
+      "eval_steps_per_second": 0.63,
+      "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.9882182478904724,
-      "learning_rate": 2e-05,
-      "loss": 0.7368,
-      "step": 5349
+      "grad_norm": 0.5377846360206604,
+      "learning_rate": 0.0004,
+      "loss": 0.5776,
+      "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5787354707717896,
-      "eval_rouge1": 0.517,
+      "eval_loss": 0.5282897353172302,
+      "eval_rouge1": 0.7664,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.5231,
-      "eval_rougeLsum": 0.516,
-      "eval_runtime": 114.8491,
-      "eval_samples_per_second": 6.522,
-      "eval_steps_per_second": 0.209,
-      "step": 5349
+      "eval_rougeL": 0.7649,
+      "eval_rougeLsum": 0.7639,
+      "eval_runtime": 38.0432,
+      "eval_samples_per_second": 19.688,
+      "eval_steps_per_second": 0.631,
+      "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 1.3597564697265625,
-      "learning_rate": 1e-05,
-      "loss": 0.7107,
-      "step": 7132
+      "grad_norm": 0.627534806728363,
+      "learning_rate": 0.0002,
+      "loss": 0.5535,
+      "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5670214295387268,
-      "eval_rouge1": 0.5105,
+      "eval_loss": 0.5193020105361938,
+      "eval_rouge1": 0.7475,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.5148,
-      "eval_rougeLsum": 0.5089,
-      "eval_runtime": 113.942,
-      "eval_samples_per_second": 6.574,
-      "eval_steps_per_second": 0.211,
-      "step": 7132
+      "eval_rougeL": 0.747,
+      "eval_rougeLsum": 0.745,
+      "eval_runtime": 37.7969,
+      "eval_samples_per_second": 19.816,
+      "eval_steps_per_second": 0.635,
+      "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 1.5828347206115723,
+      "grad_norm": 0.7363429069519043,
       "learning_rate": 0.0,
-      "loss": 0.6989,
-      "step": 8915
+      "loss": 0.5357,
+      "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5651674866676331,
-      "eval_rouge1": 0.5057,
+      "eval_loss": 0.5139681696891785,
+      "eval_rouge1": 0.7665,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.5089,
-      "eval_rougeLsum": 0.5041,
-      "eval_runtime": 113.7562,
-      "eval_samples_per_second": 6.584,
-      "eval_steps_per_second": 0.211,
-      "step": 8915
+      "eval_rougeL": 0.7672,
+      "eval_rougeLsum": 0.7666,
+      "eval_runtime": 38.1607,
+      "eval_samples_per_second": 19.628,
+      "eval_steps_per_second": 0.629,
+      "step": 4460
     },
     {
       "epoch": 5.0,
-      "step": 8915,
-      "total_flos": 7.495546629705523e+16,
-      "train_loss": 0.8330970066688868,
-      "train_runtime": 5165.2629,
-      "train_samples_per_second": 13.807,
-      "train_steps_per_second": 1.726
+      "step": 4460,
+      "total_flos": 4.90272982695936e+16,
+      "train_loss": 0.6212816452231642,
+      "train_runtime": 3932.3471,
+      "train_samples_per_second": 18.135,
+      "train_steps_per_second": 1.134
     }
   ],
   "logging_steps": 500,
-  "max_steps": 8915,
+  "max_steps": 4460,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 7.495546629705523e+16,
-  "train_batch_size": 8,
+  "total_flos": 4.90272982695936e+16,
+  "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null
 }