End of training

README.md

@@ -3,9 +3,10 @@ library_name: transformers
 license: apache-2.0
 base_model: michiyasunaga/BioLinkBERT-base
 tags:
+- token-classification
 - generated_from_trainer
 datasets:
-- drugtemist-en-8-ner
+- Rodrigo1771/drugtemist-en-8-ner
 metrics:
 - precision
 - recall
@@ -18,24 +19,24 @@ model-index:
       name: Token Classification
       type: token-classification
     dataset:
-      name: drugtemist-en-8-ner
-      type: drugtemist-en-8-ner
+      name: Rodrigo1771/drugtemist-en-8-ner
+      type: Rodrigo1771/drugtemist-en-8-ner
       config: DrugTEMIST English NER
       split: validation
       args: DrugTEMIST English NER
     metrics:
     - name: Precision
       type: precision
-      value: 0.9172033118675254
+      value: 0.9318394024276377
     - name: Recall
       type: recall
-      value: 0.9291705498602051
+      value: 0.9301025163094129
     - name: F1
       type: f1
-      value: 0.9231481481481483
+      value: 0.9309701492537313
     - name: Accuracy
       type: accuracy
-      value: 0.9985418469009014
+      value: 0.9986953367008066
 ---
 
 <!-- This model card has been generated automatically according to the information the Trainer had access to. You
@@ -43,13 +44,13 @@ should probably proofread and complete it, then remove this comment. -->
 
 # output
 
-This model is a fine-tuned version of [michiyasunaga/BioLinkBERT-base](https://huggingface.co/michiyasunaga/BioLinkBERT-base) on the drugtemist-en-8-ner dataset.
+This model is a fine-tuned version of [michiyasunaga/BioLinkBERT-base](https://huggingface.co/michiyasunaga/BioLinkBERT-base) on the Rodrigo1771/drugtemist-en-8-ner dataset.
 It achieves the following results on the evaluation set:
-- Loss: 0.0089
-- Precision: 0.9172
-- Recall: 0.9292
-- F1: 0.9231
-- Accuracy: 0.9985
+- Loss: 0.0057
+- Precision: 0.9318
+- Recall: 0.9301
+- F1: 0.9310
+- Accuracy: 0.9987
 
 ## Model description
 

all_results.json

@@ -1,26 +1,26 @@
 {
     "epoch": 10.0,
-    "eval_accuracy": 0.9987162671280663,
-    "eval_f1": 0.930276087973795,
-    "eval_loss": 0.0064844791777431965,
-    "eval_precision": 0.9342105263157895,
-    "eval_recall": 0.9263746505125815,
-    "eval_runtime": 13.1881,
+    "eval_accuracy": 0.9986953367008066,
+    "eval_f1": 0.9309701492537313,
+    "eval_loss": 0.005731322802603245,
+    "eval_precision": 0.9318394024276377,
+    "eval_recall": 0.9301025163094129,
+    "eval_runtime": 13.2606,
     "eval_samples": 6946,
-    "eval_samples_per_second": 526.688,
-    "eval_steps_per_second": 65.893,
-    "predict_accuracy": 0.9986488402874071,
-    "predict_f1": 0.9212396929201025,
-    "predict_loss": 0.006953952368348837,
-    "predict_precision": 0.9025069637883009,
-    "predict_recall": 0.9407665505226481,
-    "predict_runtime": 26.178,
-    "predict_samples_per_second": 562.112,
-    "predict_steps_per_second": 70.288,
-    "total_flos": 1.394320679130096e+16,
-    "train_loss": 0.0030765269683407886,
-    "train_runtime": 1249.6681,
-    "train_samples": 32232,
-    "train_samples_per_second": 257.924,
-    "train_steps_per_second": 4.033
+    "eval_samples_per_second": 523.806,
+    "eval_steps_per_second": 65.532,
+    "predict_accuracy": 0.9987197466280096,
+    "predict_f1": 0.9273140261215219,
+    "predict_loss": 0.005859126802533865,
+    "predict_precision": 0.9072222222222223,
+    "predict_recall": 0.9483159117305459,
+    "predict_runtime": 25.9866,
+    "predict_samples_per_second": 566.254,
+    "predict_steps_per_second": 70.806,
+    "total_flos": 1.3595017549497408e+16,
+    "train_loss": 0.0028862289850114567,
+    "train_runtime": 1222.2462,
+    "train_samples": 31536,
+    "train_samples_per_second": 258.017,
+    "train_steps_per_second": 4.034
 }

eval_results.json

@@ -1,12 +1,12 @@
 {
     "epoch": 10.0,
-    "eval_accuracy": 0.9987162671280663,
-    "eval_f1": 0.930276087973795,
-    "eval_loss": 0.0064844791777431965,
-    "eval_precision": 0.9342105263157895,
-    "eval_recall": 0.9263746505125815,
-    "eval_runtime": 13.1881,
+    "eval_accuracy": 0.9986953367008066,
+    "eval_f1": 0.9309701492537313,
+    "eval_loss": 0.005731322802603245,
+    "eval_precision": 0.9318394024276377,
+    "eval_recall": 0.9301025163094129,
+    "eval_runtime": 13.2606,
     "eval_samples": 6946,
-    "eval_samples_per_second": 526.688,
-    "eval_steps_per_second": 65.893
+    "eval_samples_per_second": 523.806,
+    "eval_steps_per_second": 65.532
 }

predict_results.json

@@ -1,10 +1,10 @@
 {
-    "predict_accuracy": 0.9986488402874071,
-    "predict_f1": 0.9212396929201025,
-    "predict_loss": 0.006953952368348837,
-    "predict_precision": 0.9025069637883009,
-    "predict_recall": 0.9407665505226481,
-    "predict_runtime": 26.178,
-    "predict_samples_per_second": 562.112,
-    "predict_steps_per_second": 70.288
+    "predict_accuracy": 0.9987197466280096,
+    "predict_f1": 0.9273140261215219,
+    "predict_loss": 0.005859126802533865,
+    "predict_precision": 0.9072222222222223,
+    "predict_recall": 0.9483159117305459,
+    "predict_runtime": 25.9866,
+    "predict_samples_per_second": 566.254,
+    "predict_steps_per_second": 70.806
 }

predictions.txt

@@ -440,7 +440,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
@@ -512,7 +512,7 @@ O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
-O O O O I-FARMACO O O O O O O O B-FARMACO O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O
+O O O O O O O O O O O O B-FARMACO O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
@@ -538,7 +538,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O B-FARMACO O O O O O B-FARMACO O B-FARMACO O O O O O O B-FARMACO O O O O
+O O O O O O O O O O O B-FARMACO O O O O O B-FARMACO O B-FARMACO O O O O O O B-FARMACO O B-FARMACO I-FARMACO O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
@@ -562,7 +562,7 @@ O O O O O O O O O O O
 O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O
@@ -811,7 +811,7 @@ O O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O
-O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O
 O O O O O O O O O O O O O O
@@ -976,7 +976,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
 O O O O O O
-O O O O B-FARMACO O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -987,7 +987,7 @@ O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O
 O O O O O O
-O O O B-FARMACO O O O B-FARMACO O I-FARMACO I-FARMACO O O O B-FARMACO O O O B-FARMACO O O O
+O O O B-FARMACO O O O B-FARMACO O O B-FARMACO O O O B-FARMACO O O O B-FARMACO O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
@@ -1261,7 +1261,7 @@ O O O O
 O O O O
 O O O O O O
 O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O B-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O
@@ -1352,8 +1352,8 @@ O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O
-B-FARMACO O O O
-B-FARMACO O O B-FARMACO O
+O O O O
+B-FARMACO O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
@@ -1897,7 +1897,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O B-FARMACO O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O B-FARMACO O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O B-FARMACO O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
@@ -2106,13 +2106,13 @@ O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O B-FARMACO O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O
-O O O O O O O O B-FARMACO O
+O O O O O O O O O O
 O O O O O O O O O O O O O O
 O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O
 O O O
-O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O O O B-FARMACO O O O O O O O O O B-FARMACO O O O O O O O O O B-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -2391,7 +2391,7 @@ O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -2488,7 +2488,7 @@ O O O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
 O O O O O O O O
@@ -2744,7 +2744,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O
@@ -3058,7 +3058,7 @@ O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O B-FARMACO O O O B-FARMAC
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O B-FARMACO O O O
+O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O
 O O O
 O O O O O O O O B-FARMACO O O O O O O O O O O O O
@@ -3482,10 +3482,10 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O O
+O O O B-FARMACO O I-FARMACO O O O O O O O O O O O
 B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O
 B-FARMACO O O O O O O O O
-B-FARMACO I-FARMACO O B-FARMACO O O O O O O O O O
+B-FARMACO I-FARMACO O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O O O O O
@@ -3786,7 +3786,7 @@ O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O
@@ -3854,7 +3854,7 @@ O O O O O O O O O O O O B-FARMACO O B-FARMACO I-FARMACO O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O
 O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O
-O O O O O O O B-FARMACO O O O O O
+O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O
@@ -4018,7 +4018,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
-O O O B-FARMACO O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
 O O O
 O O O
 O O O O O O O O O O O O O O
@@ -4335,7 +4335,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O B-FARMACO O I-FARMACO O O O O B-FARMACO O
+O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -4405,7 +4405,7 @@ O O O O O O O O O O
 O O O O
 O O O
 O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O
+O O B-FARMACO I-FARMACO O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O
 O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O
@@ -4550,7 +4550,7 @@ O O O O O O O O
 O O O O O O O B-FARMACO O O O O O O O
 O O O O
 O O O O O O O O O O O O O O O O O
-O O O O O O O B-FARMACO I-FARMACO O B-FARMACO O O O B-FARMACO O
+O O O O O O O B-FARMACO I-FARMACO O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
@@ -4807,12 +4807,12 @@ O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
-O O O O O O
+O O O O B-FARMACO O
 O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O O
 O O O O
-O O O O O O O O O O O O O
+O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O
 O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
@@ -5214,7 +5214,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O B-FARMACO O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O
@@ -5558,7 +5558,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O O O O
@@ -5835,7 +5835,7 @@ O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O
-O O O O O O O O B-FARMACO O O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O I-FARMACO I-FARMACO O O B-FARMACO O O O O
+O O O O O O O O B-FARMACO O O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O B-FARMACO I-FARMACO O O B-FARMACO O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
@@ -5895,7 +5895,7 @@ O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O
-O O O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O
+O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O B-FARMACO O B-FARMACO O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -6024,7 +6024,7 @@ O O O O
 O O O O O
 O O O O O O O
 O O O O
-O O O O O O O O O O O O O O O O O O O O O O O
+B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O O
 O O O O O O O O O
@@ -6218,8 +6218,8 @@ O O O O O O O
 O O O
 O O O
 O O O O O O O O O O O O
-O O O O O O O O O O O O O B-FARMACO O O O O O O B-FARMACO O O
-O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO I-FARMACO O I-FARMACO I-FARMACO O O B-FARMACO I-FARMACO I-FARMACO O O O O
+O O O O O O O O O O O O O B-FARMACO O O O O O O O O O
+O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO I-FARMACO O B-FARMACO I-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O
 O O O O O O O O
@@ -6229,7 +6229,7 @@ O O O O O O O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O O
 O O O B-FARMACO O O O O O O O O B-FARMACO O O O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O O B-FARMACO O
-O O O B-FARMACO O B-FARMACO O B-FARMACO O
+O O O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO O
 O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O
@@ -6475,7 +6475,7 @@ O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O
-O O O O O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O B-FARMACO O O O O O O O O O B-FARMACO O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O O
+O O O O O I-FARMACO O O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O B-FARMACO O O O O O O O O O B-FARMACO O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O
@@ -6747,7 +6747,7 @@ O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O B-FARMACO O O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O I-FARMACO O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
@@ -6875,7 +6875,7 @@ O O O O O O O O O O O O O O O O O O O O O O
 O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
@@ -7147,7 +7147,7 @@ O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O B-FARMACO O O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O O B-FARMACO O O O O
+O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O O B-FARMACO O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O O O
 O O O O
@@ -7188,7 +7188,7 @@ O O O O O O O O O O O O O O O O O O O O O O O
 O O
 O O O O B-FARMACO O B-FARMACO O B-FARMACO O O O O O B-FARMACO O B-FARMACO O B-FARMACO O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O B-FARMACO O O O O O O O
-O O O O O O O O O O O O B-FARMACO O O B-FARMACO O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O B-FARMACO O O O O O O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O
@@ -7599,7 +7599,7 @@ O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO I-FARMACO I-FARMACO I-FARMACO I-FARMACO O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
@@ -7634,7 +7634,7 @@ O O O O O O O O
 O O O O O O O
 O O O O
 O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
@@ -7651,7 +7651,7 @@ O O O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O B-FARMACO O O O
+O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -7727,7 +7727,7 @@ O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O
+O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
@@ -8084,11 +8084,11 @@ O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
 O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O
 O O O O O O O O O O O O O O O O B-FARMACO O O O
 O O O O O
 O O O O O O O O O O B-FARMACO O O O O B-FARMACO O B-FARMACO O B-FARMACO O O O O O
-O O O O O B-FARMACO I-FARMACO I-FARMACO O O O B-FARMACO I-FARMACO I-FARMACO O
+O O O O O B-FARMACO O B-FARMACO O O O B-FARMACO O B-FARMACO O
 O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O
@@ -8380,7 +8380,7 @@ O O O O O O O O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O
 O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O B-FARMACO O O O O O O O O O B-FARMACO O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
@@ -8508,7 +8508,7 @@ O O O O
 O O O O
 O O B-FARMACO O O O O O O O O O O O O O O O
 O O O B-FARMACO I-FARMACO O B-FARMACO O O O O B-FARMACO O O O B-FARMACO O O O B-FARMACO O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O B-FARMACO O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O
@@ -8578,7 +8578,7 @@ O O O O O O O
 O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O
 O O O O O O
@@ -8869,7 +8869,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
-O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O I-FARMACO O O O O O O O O O B-FARMACO O O O
+O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O O O O O B-FARMACO O O B-FARMACO O O O O O O O O O B-FARMACO O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -8915,7 +8915,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O
-O O B-FARMACO O
+O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O
@@ -9075,7 +9075,7 @@ O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O
-O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
@@ -9231,7 +9231,7 @@ O O O O O
 O O O O
 O O O B-FARMACO O O O O O B-FARMACO O O O O O B-FARMACO O O O O O O
 O O O O O O B-FARMACO O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O O O O B-FARMACO O B-FARMACO O O O
@@ -9266,7 +9266,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O O O O O O O O O O O
 O O O O O O O O O O
 O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O
@@ -9455,9 +9455,9 @@ O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O B-FARMACO O
+O O O O O O O O O O O O B-FARMACO I-FARMACO O
 O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
@@ -9517,7 +9517,7 @@ O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O B-FARMACO O O
 O O O O O O O O O O O O O O O O O O B-FARMACO O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O B-FARMACO O B-FARMACO O O
@@ -9727,7 +9727,7 @@ O O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O
+O O O O O O O B-FARMACO I-FARMACO O O O O O
 O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -9810,7 +9810,7 @@ O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
 O O
@@ -10261,7 +10261,7 @@ O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O
 O O O O O O O B-FARMACO O O O O O O
-B-FARMACO I-FARMACO I-FARMACO I-FARMACO O O O O O O O
+B-FARMACO I-FARMACO O I-FARMACO O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
@@ -10721,7 +10721,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O B-FARMACO O
-B-FARMACO O O O O O O O O O O B-FARMACO O O O O O O
+O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -10871,9 +10871,9 @@ O O O O O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O
+O O B-FARMACO O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O B-FARMACO O O O O O O O B-FARMACO O B-FARMACO O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O B-FARMACO B-FARMACO O O O O O O O B-FARMACO O B-FARMACO O O
 O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
@@ -10968,7 +10968,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
@@ -11389,7 +11389,7 @@ O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O O O B-FARMACO O B-FARMACO O
+O O O O O O O O O O O O O O O O O O B-FARMACO O O O B-FARMACO I-FARMACO O O O O O B-FARMACO O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O
 O O O O
@@ -11639,7 +11639,7 @@ O O O O O
 O O O O O O O O O O
 O O O O O
 O O O O O O O O
-O O O O O O O O O O
+O O O O O O O O B-FARMACO O
 O O O O O O O O O O
 O O O O
 O O O O O O O O O O O O O O
@@ -11844,7 +11844,7 @@ O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O B-FARMACO O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O
+O B-FARMACO O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -11852,7 +11852,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O B-FARMACO O O
 O O O O O O O O O O O O O O O O O O O O
-B-FARMACO O O O O O O O
+O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
@@ -11941,7 +11941,7 @@ O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O B-FARMACO O O O B-FARMACO O O O B-FARMACO O O O B-FARMACO O O O B-FARMACO O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O
 O O O
 O O O O O O O O O O O O O O O O O O
@@ -12001,7 +12001,7 @@ O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -12015,7 +12015,7 @@ O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O O
 O O O O O O
-O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O B-FARMACO O O O O O O O O O
+O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO I-FARMACO I-FARMACO O O O O O
 O O O O O O O O O O O O O O
 O O O B-FARMACO O O O O O B-FARMACO O O O O O B-FARMACO O O O O O B-FARMACO O O O O O B-FARMACO O O O O O B-FARMACO O O O O O
 O O O O O B-FARMACO I-FARMACO I-FARMACO O O O O O O O O O O
@@ -12114,7 +12114,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O
 O O B-FARMACO O
-O O O O O O O
+O O O O O B-FARMACO O
 O O O O O O O O O O O O O
 O O O O O O O
 O O O O O O O O O O O O O
@@ -12412,10 +12412,10 @@ O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O
-O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-FARMACO I-FARMACO O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O B-FARMACO O O O
+O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O
 O O O O O O O O O
@@ -12570,7 +12570,7 @@ O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O
 O O O O O O O
-O O O O O O O O O O O O
+O O O O O O O O O B-FARMACO I-FARMACO O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -12617,7 +12617,7 @@ O O O O O O O O O O O O O O
 O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 B-FARMACO O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O
 O O O O O O O O O O O
 O O O O O O O O O O O O O O
 O O O O O O O O O
@@ -12628,7 +12628,7 @@ O O
 O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
-O O O B-FARMACO O O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O B-FARMACO O O O O O B-FARMACO O O O O O O O O O
+O O O B-FARMACO O O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO I-FARMACO O O O O O O O B-FARMACO O O O O O O O O O
 O O O O O O
 O O O O O O O O O O O B-FARMACO O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -12681,7 +12681,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O
@@ -12789,7 +12789,7 @@ O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O B-FARMACO O O O O O O
 O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O
 O O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O
@@ -12854,14 +12854,14 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O
 O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O B-FARMACO O O O O O O O B-FARMACO O B-FARMACO O B-FARMACO O O
@@ -13012,8 +13012,8 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O B-FARMACO O O
 O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -13194,7 +13194,7 @@ O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O O O O O O O O B-FARMACO I-FARMACO I-FARMACO O B-FARMACO O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O B-FARMACO O O O O O O O O O B-FARMACO O I-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O O O O O O O O B-FARMACO O I-FARMACO O B-FARMACO O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
@@ -13321,7 +13321,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O B-FARMACO I-FARMACO O B-FARMACO O B-FARMACO O
@@ -13722,7 +13722,7 @@ O O O O
 O O O O O O
 O O O O O O O
 O O O O O
-O O O O B-FARMACO O
+O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O
 O O O O O
@@ -14074,7 +14074,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O B-FARMACO O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O
@@ -14131,7 +14131,7 @@ O O O
 O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O
-O O O O O O O O O O O O O
+O O O O B-FARMACO O O O O O O O O
 O O O O O O O O
 O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
@@ -14140,8 +14140,8 @@ O O O O O O
 O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-FARMACO O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -14381,7 +14381,7 @@ O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O
 O O O O O O O O
-O O O O O O O O O O O
+O O O O O O O O B-FARMACO I-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O
@@ -14477,7 +14477,7 @@ O O O O O O O
 O O O O
 O O O
 O O O O O O
-O O O O B-FARMACO O
+O O O O O O
 O O
 O O O B-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O
@@ -14647,7 +14647,7 @@ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
-O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FARMACO I-FARMACO O B-FARMACO I-FARMACO O O O O O O O O O
 O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O

tb/events.out.tfevents.1725529304.6cb9bed92fd1.10874.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a8c2d2a56bb57319b4d037a660a555d762707fa0a3cfd175bfca2e46732868d1
+size 560

train.log

@@ -1280,3 +1280,51 @@ Training completed. Do not forget to share your model on huggingface.co/models =
 {'eval_loss': 0.008874327875673771, 'eval_precision': 0.9172033118675254, 'eval_recall': 0.9291705498602051, 'eval_f1': 0.9231481481481483, 'eval_accuracy': 0.9985418469009014, 'eval_runtime': 13.6739, 'eval_samples_per_second': 507.975, 'eval_steps_per_second': 63.552, 'epoch': 10.0}
 {'train_runtime': 1222.2462, 'train_samples_per_second': 258.017, 'train_steps_per_second': 4.034, 'train_loss': 0.0028862289850114567, 'epoch': 10.0}
 
+***** train metrics *****
+  epoch                    =       10.0
+  total_flos               = 12661346GF
+  train_loss               =     0.0029
+  train_runtime            = 0:20:22.24
+  train_samples            =      31536
+  train_samples_per_second =    258.017
+  train_steps_per_second   =      4.034
+09/05/2024 09:41:31 - INFO - __main__ -   *** Evaluate ***
+[INFO|trainer.py:811] 2024-09-05 09:41:31,441 >> The following columns in the evaluation set don't have a corresponding argument in `BertForTokenClassification.forward` and have been ignored: tokens, ner_tags, id. If tokens, ner_tags, id are not expected by `BertForTokenClassification.forward`,  you can safely ignore this message.
+[INFO|trainer.py:3819] 2024-09-05 09:41:31,444 >> 
+***** Running Evaluation *****
+[INFO|trainer.py:3821] 2024-09-05 09:41:31,444 >>   Num examples = 6946
+[INFO|trainer.py:3824] 2024-09-05 09:41:31,444 >>   Batch size = 8
+
  0%|          | 0/869 [00:00<?, ?it/s]
  1%|          | 10/869 [00:00<00:08, 96.63it/s]
  2%|▏         | 20/869 [00:00<00:09, 89.07it/s]
  3%|▎         | 30/869 [00:00<00:09, 91.82it/s]
  5%|▍         | 40/869 [00:00<00:08, 92.22it/s]
  6%|▌         | 50/869 [00:00<00:08, 92.52it/s]
  7%|▋         | 60/869 [00:00<00:08, 91.81it/s]
  8%|▊         | 70/869 [00:00<00:08, 90.33it/s]
  9%|▉         | 80/869 [00:00<00:08, 91.84it/s]
 10%|█         | 90/869 [00:00<00:08, 93.65it/s]
 12%|█▏        | 100/869 [00:01<00:08, 95.24it/s]
 13%|█▎        | 110/869 [00:01<00:08, 93.00it/s]
 14%|█▍        | 120/869 [00:01<00:08, 92.60it/s]
 15%|█▍        | 130/869 [00:01<00:08, 91.22it/s]
 16%|█▌        | 140/869 [00:01<00:08, 90.16it/s]
 17%|█▋        | 150/869 [00:01<00:08, 88.91it/s]
 18%|█▊        | 159/869 [00:01<00:08, 88.75it/s]
 19%|█▉        | 168/869 [00:01<00:07, 88.67it/s]
 20%|██        | 178/869 [00:01<00:07, 90.00it/s]
 22%|██▏       | 188/869 [00:02<00:07, 91.70it/s]
 23%|██▎       | 198/869 [00:02<00:07, 91.42it/s]
 24%|██▍       | 208/869 [00:02<00:07, 91.69it/s]
 25%|██▌       | 218/869 [00:02<00:07, 92.94it/s]
 26%|██▌       | 228/869 [00:02<00:06, 92.81it/s]
 27%|██▋       | 238/869 [00:02<00:06, 90.15it/s]
 29%|██▊       | 248/869 [00:02<00:07, 87.91it/s]
 30%|██▉       | 258/869 [00:02<00:06, 90.60it/s]
 31%|███       | 268/869 [00:02<00:06, 90.30it/s]
 32%|███▏      | 278/869 [00:03<00:06, 90.13it/s]
 33%|███▎      | 288/869 [00:03<00:06, 88.27it/s]
 34%|███▍      | 298/869 [00:03<00:06, 88.16it/s]
 35%|███▌      | 308/869 [00:03<00:06, 89.09it/s]
 37%|███▋      | 318/869 [00:03<00:06, 89.51it/s]
 38%|███▊      | 327/869 [00:03<00:06, 88.93it/s]
 39%|███▉      | 337/869 [00:03<00:05, 90.38it/s]
 40%|███▉      | 347/869 [00:03<00:05, 88.22it/s]
 41%|████      | 357/869 [00:03<00:05, 89.26it/s]
 42%|████▏     | 367/869 [00:04<00:05, 91.49it/s]
 43%|████▎     | 377/869 [00:04<00:05, 88.34it/s]
 44%|████▍     | 386/869 [00:04<00:05, 88.37it/s]
 45%|████▌     | 395/869 [00:04<00:05, 87.20it/s]
 47%|████▋     | 405/869 [00:04<00:05, 88.63it/s]
 48%|████▊     | 415/869 [00:04<00:04, 91.50it/s]
 49%|████▉     | 425/869 [00:04<00:04, 92.87it/s]
 50%|█████     | 435/869 [00:04<00:04, 92.49it/s]
 51%|█████     | 445/869 [00:04<00:04, 89.26it/s]
 52%|█████▏    | 455/869 [00:05<00:04, 91.11it/s]
 54%|█████▎    | 465/869 [00:05<00:04, 91.29it/s]
 55%|█████▍    | 476/869 [00:05<00:04, 94.85it/s]
 56%|█████▌    | 486/869 [00:05<00:04, 94.32it/s]
 57%|█████▋    | 496/869 [00:05<00:04, 91.41it/s]
 58%|█████▊    | 506/869 [00:05<00:03, 91.19it/s]
 59%|█████▉    | 516/869 [00:05<00:03, 92.56it/s]
 61%|██████    | 526/869 [00:05<00:03, 89.55it/s]
 62%|██████▏   | 536/869 [00:05<00:03, 89.97it/s]
 63%|██████▎   | 546/869 [00:06<00:03, 88.82it/s]
 64%|██████▍   | 556/869 [00:06<00:03, 90.59it/s]
 65%|██████▌   | 566/869 [00:06<00:03, 90.04it/s]
 66%|██████▋   | 576/869 [00:06<00:03, 90.22it/s]
 67%|██████▋   | 586/869 [00:06<00:03, 89.93it/s]
 69%|██████▊   | 596/869 [00:06<00:02, 91.78it/s]
 70%|██████▉   | 606/869 [00:06<00:02, 93.28it/s]
 71%|███████   | 616/869 [00:06<00:02, 92.79it/s]
 72%|███████▏  | 626/869 [00:06<00:02, 93.45it/s]
 73%|███████▎  | 636/869 [00:07<00:02, 90.98it/s]
 74%|███████▍  | 646/869 [00:07<00:02, 92.93it/s]
 75%|███████▌  | 656/869 [00:07<00:02, 94.00it/s]
 77%|███████▋  | 666/869 [00:07<00:02, 93.60it/s]
 78%|███████▊  | 677/869 [00:07<00:02, 95.77it/s]
 79%|███████▉  | 687/869 [00:07<00:02, 89.10it/s]
 80%|████████  | 697/869 [00:07<00:01, 91.33it/s]
 81%|████████▏ | 707/869 [00:07<00:01, 92.43it/s]
 83%|████████▎ | 717/869 [00:07<00:01, 93.88it/s]
 84%|████████▎ | 727/869 [00:07<00:01, 93.59it/s]
 85%|████████▍ | 737/869 [00:08<00:01, 93.48it/s]
 86%|████████▌ | 747/869 [00:08<00:01, 94.55it/s]
 87%|████████▋ | 757/869 [00:08<00:01, 92.78it/s]
 88%|████████▊ | 767/869 [00:08<00:01, 90.68it/s]
 89%|████████▉ | 777/869 [00:08<00:01, 85.35it/s]
 91%|█████████ | 787/869 [00:08<00:00, 89.02it/s]
 92%|█████████▏| 797/869 [00:08<00:00, 91.18it/s]
 93%|█████████▎| 807/869 [00:08<00:00, 92.50it/s]
 94%|█████████▍| 817/869 [00:08<00:00, 93.26it/s]
 95%|█████████▌| 827/869 [00:09<00:00, 93.26it/s]
 96%|█████████▋| 837/869 [00:09<00:00, 93.28it/s]
 97%|█████████▋| 847/869 [00:09<00:00, 94.72it/s]
 99%|█████████▊| 857/869 [00:09<00:00, 95.48it/s]
+***** eval metrics *****
+  epoch                   =       10.0
+  eval_accuracy           =     0.9987
+  eval_f1                 =      0.931
+  eval_loss               =     0.0057
+  eval_precision          =     0.9318
+  eval_recall             =     0.9301
+  eval_runtime            = 0:00:13.26
+  eval_samples            =       6946
+  eval_samples_per_second =    523.806
+  eval_steps_per_second   =     65.532
+09/05/2024 09:41:44 - INFO - __main__ -   *** Predict ***
+[INFO|trainer.py:811] 2024-09-05 09:41:44,710 >> The following columns in the test set don't have a corresponding argument in `BertForTokenClassification.forward` and have been ignored: tokens, ner_tags, id. If tokens, ner_tags, id are not expected by `BertForTokenClassification.forward`,  you can safely ignore this message.
+[INFO|trainer.py:3819] 2024-09-05 09:41:44,713 >> 
+***** Running Prediction *****
+[INFO|trainer.py:3821] 2024-09-05 09:41:44,713 >>   Num examples = 14715
+[INFO|trainer.py:3824] 2024-09-05 09:41:44,713 >>   Batch size = 8
+
  0%|          | 0/1840 [00:00<?, ?it/s]
  1%|          | 11/1840 [00:00<00:18, 97.96it/s]
  1%|          | 21/1840 [00:00<00:20, 87.97it/s]
  2%|▏         | 31/1840 [00:00<00:19, 90.73it/s]
  2%|▏         | 41/1840 [00:00<00:19, 91.41it/s]
  3%|▎         | 51/1840 [00:00<00:19, 92.83it/s]
  3%|▎         | 61/1840 [00:00<00:19, 90.57it/s]
  4%|▍         | 71/1840 [00:00<00:19, 90.31it/s]
  4%|▍         | 81/1840 [00:00<00:19, 92.07it/s]
  5%|▍         | 91/1840 [00:01<00:19, 90.31it/s]
  5%|▌         | 101/1840 [00:01<00:18, 92.69it/s]
  6%|▌         | 111/1840 [00:01<00:18, 94.17it/s]
  7%|▋         | 121/1840 [00:01<00:18, 93.58it/s]
  7%|▋         | 131/1840 [00:01<00:18, 90.48it/s]
  8%|▊         | 141/1840 [00:01<00:18, 91.45it/s]
  8%|▊         | 151/1840 [00:01<00:18, 93.40it/s]
  9%|▉         | 161/1840 [00:01<00:18, 89.96it/s]
  9%|▉         | 171/1840 [00:01<00:18, 91.57it/s]
 10%|▉         | 182/1840 [00:01<00:17, 94.31it/s]
 10%|█         | 192/1840 [00:02<00:17, 95.28it/s]
 11%|█         | 202/1840 [00:02<00:17, 94.05it/s]
 12%|█▏        | 212/1840 [00:02<00:17, 93.45it/s]
 12%|█▏        | 222/1840 [00:02<00:17, 92.03it/s]
 13%|█▎        | 232/1840 [00:02<00:17, 90.65it/s]
 13%|█▎        | 242/1840 [00:02<00:17, 89.60it/s]
 14%|█▎        | 252/1840 [00:02<00:17, 89.96it/s]
 14%|█▍        | 262/1840 [00:02<00:17, 90.35it/s]
 15%|█▍        | 272/1840 [00:02<00:17, 91.44it/s]
 15%|█▌        | 283/1840 [00:03<00:16, 94.30it/s]
 16%|█▌        | 293/1840 [00:03<00:16, 93.61it/s]
 16%|█▋        | 303/1840 [00:03<00:16, 94.33it/s]
 17%|█▋        | 313/1840 [00:03<00:16, 93.76it/s]
 18%|█▊        | 323/1840 [00:03<00:16, 93.36it/s]
 18%|█▊        | 333/1840 [00:03<00:15, 94.53it/s]
 19%|█▊        | 343/1840 [00:03<00:15, 94.38it/s]
 19%|█▉        | 353/1840 [00:03<00:16, 91.36it/s]
 20%|█▉        | 363/1840 [00:03<00:16, 91.73it/s]
 20%|██        | 374/1840 [00:04<00:15, 94.45it/s]
 21%|██        | 384/1840 [00:04<00:15, 95.49it/s]
 21%|██▏       | 394/1840 [00:04<00:15, 94.56it/s]
 22%|██▏       | 404/1840 [00:04<00:15, 95.50it/s]
 22%|██▎       | 414/1840 [00:04<00:15, 94.35it/s]
 23%|██▎       | 424/1840 [00:04<00:15, 93.42it/s]
 24%|██▎       | 434/1840 [00:04<00:15, 92.64it/s]
 24%|██▍       | 444/1840 [00:04<00:14, 94.02it/s]
 25%|██▍       | 454/1840 [00:04<00:14, 93.46it/s]
 25%|██▌       | 464/1840 [00:04<00:14, 94.98it/s]
 26%|██▌       | 474/1840 [00:05<00:14, 95.09it/s]
 26%|██▋       | 484/1840 [00:05<00:14, 93.48it/s]
 27%|██▋       | 494/1840 [00:05<00:14, 93.69it/s]
 27%|██▋       | 504/1840 [00:05<00:14, 91.49it/s]
 28%|██▊       | 514/1840 [00:05<00:14, 93.26it/s]
 28%|██▊       | 524/1840 [00:05<00:13, 94.16it/s]
 29%|██▉       | 534/1840 [00:05<00:13, 94.92it/s]
 30%|██▉       | 544/1840 [00:05<00:13, 93.57it/s]
 30%|███       | 554/1840 [00:05<00:13, 94.23it/s]
 31%|███       | 564/1840 [00:06<00:13, 93.83it/s]
 31%|███       | 574/1840 [00:06<00:13, 95.51it/s]
 32%|███▏      | 584/1840 [00:06<00:13, 95.90it/s]
 32%|███▏      | 594/1840 [00:06<00:13, 94.75it/s]
 33%|███▎      | 604/1840 [00:06<00:13, 92.82it/s]
 33%|███▎      | 614/1840 [00:06<00:13, 93.79it/s]
 34%|███▍      | 624/1840 [00:06<00:13, 91.81it/s]
 34%|███▍      | 634/1840 [00:06<00:12, 94.07it/s]
 35%|███▌      | 645/1840 [00:06<00:12, 96.29it/s]
 36%|███▌      | 655/1840 [00:07<00:12, 96.70it/s]
 36%|███▌      | 665/1840 [00:07<00:12, 93.75it/s]
 37%|███▋      | 675/1840 [00:07<00:12, 94.98it/s]
 37%|███▋      | 685/1840 [00:07<00:12, 94.30it/s]
 38%|███▊      | 695/1840 [00:07<00:12, 94.30it/s]
 38%|███▊      | 705/1840 [00:07<00:11, 95.54it/s]
 39%|███▉      | 715/1840 [00:07<00:11, 95.04it/s]
 39%|███▉      | 725/1840 [00:07<00:11, 96.06it/s]
 40%|███▉      | 735/1840 [00:07<00:11, 96.97it/s]
 40%|████      | 745/1840 [00:07<00:11, 94.85it/s]
 41%|████      | 755/1840 [00:08<00:11, 95.14it/s]
 42%|████▏     | 765/1840 [00:08<00:11, 95.64it/s]
 42%|████▏     | 775/1840 [00:08<00:11, 95.69it/s]
 43%|████▎     | 786/1840 [00:08<00:10, 96.97it/s]
 43%|████▎     | 796/1840 [00:08<00:10, 95.41it/s]
 44%|████▍     | 806/1840 [00:08<00:10, 94.43it/s]
 44%|████▍     | 816/1840 [00:08<00:10, 94.95it/s]
 45%|████▍     | 826/1840 [00:08<00:10, 95.57it/s]
 45%|████▌     | 836/1840 [00:08<00:10, 95.83it/s]
 46%|████▌     | 846/1840 [00:09<00:10, 94.36it/s]
 47%|████▋     | 857/1840 [00:09<00:10, 96.75it/s]
 47%|████▋     | 868/1840 [00:09<00:09, 97.48it/s]
 48%|████▊     | 878/1840 [00:09<00:10, 94.19it/s]
 48%|████▊     | 888/1840 [00:09<00:10, 93.44it/s]
 49%|████▉     | 898/1840 [00:09<00:10, 92.83it/s]
 49%|████▉     | 909/1840 [00:09<00:09, 95.49it/s]
 50%|████▉     | 919/1840 [00:09<00:09, 96.24it/s]
 50%|█████     | 929/1840 [00:09<00:09, 97.02it/s]
 51%|█████     | 939/1840 [00:10<00:09, 94.13it/s]
 52%|█████▏    | 949/1840 [00:10<00:09, 95.38it/s]
 52%|█████▏    | 959/1840 [00:10<00:09, 92.92it/s]
 53%|█████▎    | 969/1840 [00:10<00:09, 92.07it/s]
 53%|█████▎    | 979/1840 [00:10<00:09, 91.18it/s]
 54%|█████▍    | 989/1840 [00:10<00:09, 91.42it/s]
 54%|█████▍    | 999/1840 [00:10<00:09, 92.45it/s]
 55%|█████▍    | 1009/1840 [00:10<00:08, 93.84it/s]
 55%|█████▌    | 1019/1840 [00:10<00:08, 95.25it/s]
 56%|█████▌    | 1030/1840 [00:10<00:08, 97.14it/s]
 57%|█████▋    | 1040/1840 [00:11<00:08, 97.34it/s]
 57%|█████▋    | 1050/1840 [00:11<00:08, 94.51it/s]
 58%|█████▊    | 1060/1840 [00:11<00:08, 93.30it/s]
 58%|█████▊    | 1070/1840 [00:11<00:08, 91.87it/s]
 59%|█████▊    | 1080/1840 [00:11<00:08, 93.05it/s]
 59%|█████▉    | 1090/1840 [00:11<00:07, 94.85it/s]
 60%|█████▉    | 1101/1840 [00:11<00:07, 97.08it/s]
 60%|██████    | 1111/1840 [00:11<00:07, 97.13it/s]
 61%|██████    | 1121/1840 [00:11<00:07, 95.40it/s]
 61%|██████▏   | 1131/1840 [00:12<00:07, 93.42it/s]
 62%|██████▏   | 1141/1840 [00:12<00:07, 93.31it/s]
 63%|██████▎   | 1151/1840 [00:12<00:07, 94.89it/s]
 63%|██████▎   | 1162/1840 [00:12<00:07, 96.71it/s]
 64%|██████▎   | 1172/1840 [00:12<00:07, 94.85it/s]
 64%|██████▍   | 1182/1840 [00:12<00:06, 94.89it/s]
 65%|██████▍   | 1192/1840 [00:12<00:06, 94.56it/s]
 65%|██████▌   | 1203/1840 [00:12<00:06, 96.62it/s]
 66%|██████▌   | 1213/1840 [00:12<00:06, 97.52it/s]
 66%|██████▋   | 1223/1840 [00:13<00:06, 94.71it/s]
 67%|██████▋   | 1233/1840 [00:13<00:06, 94.78it/s]
 68%|██████▊   | 1243/1840 [00:13<00:06, 96.09it/s]
 68%|██████▊   | 1253/1840 [00:13<00:06, 96.01it/s]
 69%|██████▊   | 1263/1840 [00:13<00:06, 92.38it/s]
 69%|██████▉   | 1273/1840 [00:13<00:06, 91.59it/s]
 70%|██████▉   | 1283/1840 [00:13<00:06, 92.34it/s]
 70%|███████   | 1293/1840 [00:13<00:05, 93.63it/s]
 71%|███████   | 1304/1840 [00:13<00:05, 95.76it/s]
 71%|███████▏  | 1315/1840 [00:13<00:05, 97.17it/s]
 72%|███████▏  | 1325/1840 [00:14<00:05, 97.25it/s]
 73%|███████▎  | 1335/1840 [00:14<00:05, 96.62it/s]
 73%|███████▎  | 1345/1840 [00:14<00:05, 96.40it/s]
 74%|███████▎  | 1355/1840 [00:14<00:05, 95.29it/s]
 74%|███████▍  | 1365/1840 [00:14<00:05, 94.50it/s]
 75%|███████▍  | 1375/1840 [00:14<00:04, 94.97it/s]
 75%|███████▌  | 1385/1840 [00:14<00:04, 93.76it/s]
 76%|███████▌  | 1395/1840 [00:14<00:04, 94.73it/s]
 76%|███████▋  | 1405/1840 [00:14<00:04, 94.18it/s]
 77%|███████▋  | 1416/1840 [00:15<00:04, 96.29it/s]
 78%|███████▊  | 1426/1840 [00:15<00:04, 97.35it/s]
 78%|███████▊  | 1436/1840 [00:15<00:04, 96.14it/s]
 79%|███████▊  | 1446/1840 [00:15<00:04, 92.99it/s]
 79%|███████▉  | 1456/1840 [00:15<00:04, 91.75it/s]
 80%|███████▉  | 1467/1840 [00:15<00:03, 94.77it/s]
 80%|████████  | 1477/1840 [00:15<00:03, 95.28it/s]
 81%|████████  | 1487/1840 [00:15<00:03, 93.91it/s]
 81%|████████▏ | 1497/1840 [00:15<00:03, 93.70it/s]
 82%|████████▏ | 1507/1840 [00:16<00:03, 92.27it/s]
 82%|████████▏ | 1517/1840 [00:16<00:03, 91.43it/s]
 83%|████████▎ | 1527/1840 [00:16<00:03, 93.15it/s]
 84%|████████▎ | 1537/1840 [00:16<00:03, 91.61it/s]
 84%|████████▍ | 1547/1840 [00:16<00:03, 90.88it/s]
 85%|████████▍ | 1557/1840 [00:16<00:03, 92.50it/s]
 85%|████████▌ | 1567/1840 [00:16<00:02, 92.90it/s]
 86%|████████▌ | 1577/1840 [00:16<00:02, 91.73it/s]
 86%|████████▋ | 1587/1840 [00:16<00:02, 92.57it/s]
 87%|████████▋ | 1597/1840 [00:16<00:02, 93.52it/s]
 87%|████████▋ | 1607/1840 [00:17<00:02, 93.25it/s]
 88%|████████▊ | 1617/1840 [00:17<00:02, 94.60it/s]
 88%|████████▊ | 1627/1840 [00:17<00:02, 93.06it/s]
 89%|████████▉ | 1637/1840 [00:17<00:02, 87.02it/s]
 89%|████████▉ | 1646/1840 [00:17<00:02, 87.78it/s]
 90%|█████████ | 1656/1840 [00:17<00:02, 88.76it/s]
 91%|█████████ | 1666/1840 [00:17<00:01, 91.26it/s]
 91%|█████████ | 1676/1840 [00:17<00:01, 91.08it/s]
 92%|█████████▏| 1686/1840 [00:17<00:01, 91.16it/s]
 92%|█████████▏| 1696/1840 [00:18<00:01, 92.91it/s]
 93%|█████████▎| 1706/1840 [00:18<00:01, 92.25it/s]
 93%|█████████▎| 1716/1840 [00:18<00:01, 92.91it/s]
 94%|█████████▍| 1726/1840 [00:18<00:01, 93.40it/s]
 94%|█████████▍| 1736/1840 [00:18<00:01, 91.48it/s]
 95%|█████████▍| 1746/1840 [00:18<00:01, 93.78it/s]
 95%|█████████▌| 1756/1840 [00:18<00:00, 95.23it/s]
 96%|█████████▌| 1766/1840 [00:18<00:00, 95.79it/s]
 97%|█████████▋| 1776/1840 [00:18<00:00, 95.61it/s]
 97%|█████████▋| 1786/1840 [00:19<00:00, 95.58it/s]
 98%|█████████▊| 1796/1840 [00:19<00:00, 96.54it/s]
 98%|█████████▊| 1806/1840 [00:19<00:00, 94.67it/s]
 99%|█████████▊| 1816/1840 [00:19<00:00, 93.32it/s]
 99%|█████████▉| 1826/1840 [00:19<00:00, 93.11it/s]
+[INFO|trainer.py:3503] 2024-09-05 09:42:11,232 >> Saving model checkpoint to /content/dissertation/scripts/ner/output
+[INFO|configuration_utils.py:472] 2024-09-05 09:42:11,233 >> Configuration saved in /content/dissertation/scripts/ner/output/config.json
+[INFO|modeling_utils.py:2799] 2024-09-05 09:42:12,390 >> Model weights saved in /content/dissertation/scripts/ner/output/model.safetensors
+[INFO|tokenization_utils_base.py:2684] 2024-09-05 09:42:12,391 >> tokenizer config file saved in /content/dissertation/scripts/ner/output/tokenizer_config.json
+[INFO|tokenization_utils_base.py:2693] 2024-09-05 09:42:12,391 >> Special tokens file saved in /content/dissertation/scripts/ner/output/special_tokens_map.json
+***** predict metrics *****
+  predict_accuracy           =     0.9987
+  predict_f1                 =     0.9273
+  predict_loss               =     0.0059
+  predict_precision          =     0.9072
+  predict_recall             =     0.9483
+  predict_runtime            = 0:00:25.98
+  predict_samples_per_second =    566.254
+  predict_steps_per_second   =     70.806
+

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 10.0,
-    "total_flos": 1.394320679130096e+16,
-    "train_loss": 0.0030765269683407886,
-    "train_runtime": 1249.6681,
-    "train_samples": 32232,
-    "train_samples_per_second": 257.924,
-    "train_steps_per_second": 4.033
+    "total_flos": 1.3595017549497408e+16,
+    "train_loss": 0.0028862289850114567,
+    "train_runtime": 1222.2462,
+    "train_samples": 31536,
+    "train_samples_per_second": 258.017,
+    "train_steps_per_second": 4.034
 }

trainer_state.json

@@ -1,215 +1,208 @@
 {
-  "best_metric": 0.930276087973795,
-  "best_model_checkpoint": "/content/dissertation/scripts/ner/output/checkpoint-2016",
+  "best_metric": 0.9309701492537313,
+  "best_model_checkpoint": "/content/dissertation/scripts/ner/output/checkpoint-1972",
   "epoch": 10.0,
   "eval_steps": 500,
-  "global_step": 5040,
+  "global_step": 4930,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
-    {
-      "epoch": 0.9920634920634921,
-      "grad_norm": 0.06281786412000656,
-      "learning_rate": 4.503968253968254e-05,
-      "loss": 0.0189,
-      "step": 500
-    },
     {
       "epoch": 1.0,
-      "eval_accuracy": 0.9983953339100828,
-      "eval_f1": 0.9040358744394619,
-      "eval_loss": 0.00518822530284524,
-      "eval_precision": 0.8712186689714779,
-      "eval_recall": 0.9394221808014911,
-      "eval_runtime": 13.2131,
-      "eval_samples_per_second": 525.689,
-      "eval_steps_per_second": 65.768,
-      "step": 504
-    },
-    {
-      "epoch": 1.9841269841269842,
-      "grad_norm": 0.20689290761947632,
-      "learning_rate": 4.007936507936508e-05,
-      "loss": 0.0047,
-      "step": 1000
+      "eval_accuracy": 0.9986744062735468,
+      "eval_f1": 0.9266697804764128,
+      "eval_loss": 0.004987192340195179,
+      "eval_precision": 0.9288389513108615,
+      "eval_recall": 0.9245107176141659,
+      "eval_runtime": 13.1382,
+      "eval_samples_per_second": 528.689,
+      "eval_steps_per_second": 66.143,
+      "step": 493
+    },
+    {
+      "epoch": 1.0141987829614605,
+      "grad_norm": 0.12838158011436462,
+      "learning_rate": 4.4929006085192696e-05,
+      "loss": 0.018,
+      "step": 500
     },
     {
       "epoch": 2.0,
-      "eval_accuracy": 0.9986883598917199,
-      "eval_f1": 0.9244402985074627,
-      "eval_loss": 0.004834321793168783,
-      "eval_precision": 0.9253034547152195,
-      "eval_recall": 0.923578751164958,
-      "eval_runtime": 13.2434,
-      "eval_samples_per_second": 524.487,
-      "eval_steps_per_second": 65.618,
-      "step": 1008
-    },
-    {
-      "epoch": 2.9761904761904763,
-      "grad_norm": 0.02256501279771328,
-      "learning_rate": 3.511904761904762e-05,
-      "loss": 0.0027,
-      "step": 1500
+      "eval_accuracy": 0.998444171573689,
+      "eval_f1": 0.9146567717996289,
+      "eval_loss": 0.0057116178795695305,
+      "eval_precision": 0.9104339796860572,
+      "eval_recall": 0.918918918918919,
+      "eval_runtime": 13.1923,
+      "eval_samples_per_second": 526.518,
+      "eval_steps_per_second": 65.872,
+      "step": 986
+    },
+    {
+      "epoch": 2.028397565922921,
+      "grad_norm": 0.014988560229539871,
+      "learning_rate": 3.98580121703854e-05,
+      "loss": 0.0044,
+      "step": 1000
     },
     {
       "epoch": 3.0,
-      "eval_accuracy": 0.9986255686099406,
-      "eval_f1": 0.9239384041063929,
-      "eval_loss": 0.005881821736693382,
-      "eval_precision": 0.9252336448598131,
-      "eval_recall": 0.9226467847157502,
-      "eval_runtime": 13.1715,
-      "eval_samples_per_second": 527.351,
-      "eval_steps_per_second": 65.976,
-      "step": 1512
-    },
-    {
-      "epoch": 3.9682539682539684,
-      "grad_norm": 0.0326182059943676,
-      "learning_rate": 3.0158730158730158e-05,
-      "loss": 0.0015,
-      "step": 2000
+      "eval_accuracy": 0.9984930092372952,
+      "eval_f1": 0.9260480452190296,
+      "eval_loss": 0.00787710677832365,
+      "eval_precision": 0.9361904761904762,
+      "eval_recall": 0.9161230195712954,
+      "eval_runtime": 13.2289,
+      "eval_samples_per_second": 525.064,
+      "eval_steps_per_second": 65.69,
+      "step": 1479
+    },
+    {
+      "epoch": 3.0425963488843815,
+      "grad_norm": 0.24877521395683289,
+      "learning_rate": 3.47870182555781e-05,
+      "loss": 0.0023,
+      "step": 1500
     },
     {
       "epoch": 4.0,
-      "eval_accuracy": 0.9987162671280663,
-      "eval_f1": 0.930276087973795,
-      "eval_loss": 0.0064844791777431965,
-      "eval_precision": 0.9342105263157895,
-      "eval_recall": 0.9263746505125815,
-      "eval_runtime": 13.5939,
-      "eval_samples_per_second": 510.963,
-      "eval_steps_per_second": 63.926,
-      "step": 2016
-    },
-    {
-      "epoch": 4.9603174603174605,
-      "grad_norm": 0.1600140929222107,
-      "learning_rate": 2.5198412698412697e-05,
-      "loss": 0.0011,
-      "step": 2500
+      "eval_accuracy": 0.9986953367008066,
+      "eval_f1": 0.9309701492537313,
+      "eval_loss": 0.005731322802603245,
+      "eval_precision": 0.9318394024276377,
+      "eval_recall": 0.9301025163094129,
+      "eval_runtime": 13.4618,
+      "eval_samples_per_second": 515.978,
+      "eval_steps_per_second": 64.553,
+      "step": 1972
+    },
+    {
+      "epoch": 4.056795131845842,
+      "grad_norm": 0.003771956777200103,
+      "learning_rate": 2.9716024340770794e-05,
+      "loss": 0.0014,
+      "step": 2000
     },
     {
       "epoch": 5.0,
-      "eval_accuracy": 0.9986116149917673,
-      "eval_f1": 0.923076923076923,
-      "eval_loss": 0.007346163038164377,
-      "eval_precision": 0.9072907290729073,
-      "eval_recall": 0.9394221808014911,
-      "eval_runtime": 13.3438,
-      "eval_samples_per_second": 520.543,
-      "eval_steps_per_second": 65.124,
-      "step": 2520
+      "eval_accuracy": 0.9985837077554209,
+      "eval_f1": 0.9213587715216379,
+      "eval_loss": 0.007000353187322617,
+      "eval_precision": 0.9200743494423792,
+      "eval_recall": 0.9226467847157502,
+      "eval_runtime": 13.1965,
+      "eval_samples_per_second": 526.351,
+      "eval_steps_per_second": 65.851,
+      "step": 2465
     },
     {
-      "epoch": 5.9523809523809526,
-      "grad_norm": 0.09641193598508835,
-      "learning_rate": 2.023809523809524e-05,
-      "loss": 0.0005,
-      "step": 3000
+      "epoch": 5.070993914807302,
+      "grad_norm": 0.006697970442473888,
+      "learning_rate": 2.4645030425963488e-05,
+      "loss": 0.0008,
+      "step": 2500
     },
     {
       "epoch": 6.0,
-      "eval_accuracy": 0.998444171573689,
-      "eval_f1": 0.9204281060958585,
-      "eval_loss": 0.009004838764667511,
-      "eval_precision": 0.9191449814126395,
-      "eval_recall": 0.9217148182665424,
-      "eval_runtime": 13.3195,
-      "eval_samples_per_second": 521.491,
-      "eval_steps_per_second": 65.243,
-      "step": 3024
-    },
-    {
-      "epoch": 6.944444444444445,
-      "grad_norm": 0.029784763231873512,
-      "learning_rate": 1.527777777777778e-05,
-      "loss": 0.0007,
-      "step": 3500
+      "eval_accuracy": 0.9985209164736416,
+      "eval_f1": 0.9185938945420906,
+      "eval_loss": 0.008161710575222969,
+      "eval_precision": 0.9118457300275482,
+      "eval_recall": 0.9254426840633737,
+      "eval_runtime": 13.1313,
+      "eval_samples_per_second": 528.965,
+      "eval_steps_per_second": 66.178,
+      "step": 2958
+    },
+    {
+      "epoch": 6.085192697768763,
+      "grad_norm": 0.0909859761595726,
+      "learning_rate": 1.957403651115619e-05,
+      "loss": 0.0006,
+      "step": 3000
     },
     {
       "epoch": 7.0,
-      "eval_accuracy": 0.9985767309463344,
-      "eval_f1": 0.9190432382704691,
-      "eval_loss": 0.008385799825191498,
-      "eval_precision": 0.9073569482288828,
-      "eval_recall": 0.9310344827586207,
-      "eval_runtime": 13.4485,
-      "eval_samples_per_second": 516.487,
-      "eval_steps_per_second": 64.617,
-      "step": 3528
-    },
-    {
-      "epoch": 7.936507936507937,
-      "grad_norm": 0.0010318646673113108,
-      "learning_rate": 1.0317460317460318e-05,
-      "loss": 0.0004,
-      "step": 4000
+      "eval_accuracy": 0.998618591800854,
+      "eval_f1": 0.9281767955801105,
+      "eval_loss": 0.00739107932895422,
+      "eval_precision": 0.9171974522292994,
+      "eval_recall": 0.9394221808014911,
+      "eval_runtime": 13.1688,
+      "eval_samples_per_second": 527.459,
+      "eval_steps_per_second": 65.989,
+      "step": 3451
+    },
+    {
+      "epoch": 7.099391480730223,
+      "grad_norm": 0.011905203573405743,
+      "learning_rate": 1.4503042596348884e-05,
+      "loss": 0.0003,
+      "step": 3500
     },
     {
       "epoch": 8.0,
-      "eval_accuracy": 0.9985558005190746,
-      "eval_f1": 0.9213793103448276,
-      "eval_loss": 0.008501913398504257,
-      "eval_precision": 0.9092558983666061,
-      "eval_recall": 0.9338303821062441,
-      "eval_runtime": 13.3613,
-      "eval_samples_per_second": 519.86,
-      "eval_steps_per_second": 65.039,
-      "step": 4032
-    },
-    {
-      "epoch": 8.928571428571429,
-      "grad_norm": 0.0005677491426467896,
-      "learning_rate": 5.357142857142857e-06,
+      "eval_accuracy": 0.9985069628554685,
+      "eval_f1": 0.9232201023731968,
+      "eval_loss": 0.008491172455251217,
+      "eval_precision": 0.9219330855018587,
+      "eval_recall": 0.9245107176141659,
+      "eval_runtime": 13.2155,
+      "eval_samples_per_second": 525.595,
+      "eval_steps_per_second": 65.756,
+      "step": 3944
+    },
+    {
+      "epoch": 8.113590263691684,
+      "grad_norm": 0.00037644465919584036,
+      "learning_rate": 9.432048681541583e-06,
       "loss": 0.0003,
-      "step": 4500
+      "step": 4000
     },
     {
       "epoch": 9.0,
-      "eval_accuracy": 0.9987023135098931,
-      "eval_f1": 0.9270544783010157,
-      "eval_loss": 0.008021777495741844,
-      "eval_precision": 0.918572735590119,
-      "eval_recall": 0.9356943150046598,
-      "eval_runtime": 13.487,
-      "eval_samples_per_second": 515.014,
-      "eval_steps_per_second": 64.432,
-      "step": 4536
-    },
-    {
-      "epoch": 9.920634920634921,
-      "grad_norm": 0.0005077613168396056,
-      "learning_rate": 3.9682539682539683e-07,
+      "eval_accuracy": 0.9985348700918149,
+      "eval_f1": 0.9233610341643582,
+      "eval_loss": 0.008594635874032974,
+      "eval_precision": 0.9149130832570905,
+      "eval_recall": 0.9319664492078286,
+      "eval_runtime": 13.5474,
+      "eval_samples_per_second": 512.72,
+      "eval_steps_per_second": 64.145,
+      "step": 4437
+    },
+    {
+      "epoch": 9.127789046653144,
+      "grad_norm": 0.053812168538570404,
+      "learning_rate": 4.36105476673428e-06,
       "loss": 0.0002,
-      "step": 5000
+      "step": 4500
     },
     {
       "epoch": 10.0,
-      "eval_accuracy": 0.9986883598917199,
-      "eval_f1": 0.9278445883441258,
-      "eval_loss": 0.008253143168985844,
-      "eval_precision": 0.921028466483012,
-      "eval_recall": 0.934762348555452,
-      "eval_runtime": 13.7257,
-      "eval_samples_per_second": 506.057,
-      "eval_steps_per_second": 63.312,
-      "step": 5040
+      "eval_accuracy": 0.9985418469009014,
+      "eval_f1": 0.9231481481481483,
+      "eval_loss": 0.008874327875673771,
+      "eval_precision": 0.9172033118675254,
+      "eval_recall": 0.9291705498602051,
+      "eval_runtime": 13.6739,
+      "eval_samples_per_second": 507.975,
+      "eval_steps_per_second": 63.552,
+      "step": 4930
     },
     {
       "epoch": 10.0,
-      "step": 5040,
-      "total_flos": 1.394320679130096e+16,
-      "train_loss": 0.0030765269683407886,
-      "train_runtime": 1249.6681,
-      "train_samples_per_second": 257.924,
-      "train_steps_per_second": 4.033
+      "step": 4930,
+      "total_flos": 1.3595017549497408e+16,
+      "train_loss": 0.0028862289850114567,
+      "train_runtime": 1222.2462,
+      "train_samples_per_second": 258.017,
+      "train_steps_per_second": 4.034
     }
   ],
   "logging_steps": 500,
-  "max_steps": 5040,
+  "max_steps": 4930,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 10,
   "save_steps": 500,
@@ -225,7 +218,7 @@
       "attributes": {}
     }
   },
-  "total_flos": 1.394320679130096e+16,
+  "total_flos": 1.3595017549497408e+16,
   "train_batch_size": 32,
   "trial_name": null,
   "trial_params": null