End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: mit
 base_model: indolem/indobert-base-uncased
 tags:

all_results.json

@@ -0,0 +1,25 @@
+{
+    "epoch": 20.0,
+    "eval_accuracy": 0.9473811833171678,
+    "eval_f1": 0.7615384615384614,
+    "eval_loss": 0.15662546455860138,
+    "eval_precision": 0.6859122401847575,
+    "eval_recall": 0.8559077809798271,
+    "eval_runtime": 1.0432,
+    "eval_samples": 187,
+    "eval_samples_per_second": 179.254,
+    "eval_steps_per_second": 2.876,
+    "predict_accuracy": 0.9519765739385065,
+    "predict_f1": 0.7482014388489209,
+    "predict_loss": 0.14662913978099823,
+    "predict_precision": 0.6835187057633973,
+    "predict_recall": 0.8264058679706602,
+    "predict_runtime": 1.972,
+    "predict_samples_per_second": 237.323,
+    "predict_steps_per_second": 4.057,
+    "train_loss": 0.3170195840439706,
+    "train_runtime": 250.6514,
+    "train_samples": 1688,
+    "train_samples_per_second": 134.689,
+    "train_steps_per_second": 8.458
+}

eval_results.json

@@ -0,0 +1,12 @@
+{
+    "epoch": 20.0,
+    "eval_accuracy": 0.9473811833171678,
+    "eval_f1": 0.7615384615384614,
+    "eval_loss": 0.15662546455860138,
+    "eval_precision": 0.6859122401847575,
+    "eval_recall": 0.8559077809798271,
+    "eval_runtime": 1.0432,
+    "eval_samples": 187,
+    "eval_samples_per_second": 179.254,
+    "eval_steps_per_second": 2.876
+}

predict_results.json

@@ -0,0 +1,10 @@
+{
+    "predict_accuracy": 0.9519765739385065,
+    "predict_f1": 0.7482014388489209,
+    "predict_loss": 0.14662913978099823,
+    "predict_precision": 0.6835187057633973,
+    "predict_recall": 0.8264058679706602,
+    "predict_runtime": 1.972,
+    "predict_samples_per_second": 237.323,
+    "predict_steps_per_second": 4.057
+}

predictions.txt

@@ -0,0 +1,468 @@
+O O O O O O O
+O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O
+O O B-PERSON I-PERSON O O O O O O O O O B-PERSON O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O B-PERSON O O O O O O O O B-PERSON O O O O O B-PERSON O B-PERSON O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O
+O O B-LOCATION O O O O O O O O O O O O O O O O O
+O O O O B-PERSON O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O B-ORGANIZATION O
+O O O O O O O O O O O O
+O O O B-ORGANIZATION O O O O O B-PERSON O O O B-PERSON O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O
+O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O B-LOCATION O O B-ORGANIZATION O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O
+O B-PERSON O O O O O O O O O O B-LOCATION O B-LOCATION O O O O O O O O O O B-LOCATION O
+O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY O
+O O O O O B-PERSON I-PERSON I-PERSON O O O I-PERSON I-PERSON I-PERSON O O O B-PERSON I-PERSON O O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O O B-PERSON I-PERSON O
+O O O O O O O O O O B-LOCATION O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O I-ORGANIZATION O O O O O O O O O O O O O
+O O O B-ORGANIZATION O B-PERSON O O O O O O O B-PERSON I-PERSON O O O O O O O
+B-PERSON I-PERSON O O O O O O O O B-ORGANIZATION O
+B-PERSON I-PERSON O O O O O B-ORGANIZATION O O B-LOCATION O O O O O B-LOCATION O O O O O O O O
+O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-PERSON O
+B-PERSON I-PERSON I-PERSON O O O O O O O O O O O I-ORGANIZATION I-ORGANIZATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O O B-PERSON I-PERSON O B-PERSON O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O B-LOCATION O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-LOCATION O B-QUANTITY I-QUANTITY O
+O O O O O O B-PERSON O O O O O O O O B-ORGANIZATION O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O
+O O O B-PERSON O O
+O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O B-PERSON I-PERSON O
+O O O O O O O O O O O
+B-PERSON O O O O O O O O O B-LOCATION O B-LOCATION O B-LOCATION I-LOCATION O
+O B-LOCATION O O B-LOCATION O O O O O O
+O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-QUANTITY O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O I-PERSON I-PERSON I-PERSON O I-TIME I-TIME I-TIME O
+O O B-PERSON O B-PERSON O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O
+B-PERSON I-PERSON O O O O B-ORGANIZATION I-ORGANIZATION O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O
+B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-ORGANIZATION O O O O
+B-PERSON O O O O O O O B-ORGANIZATION O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O
+O O O O O O B-PERSON O O O O O O O O O O
+O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O O O O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O
+O B-PERSON O O O O O B-PERSON O O O O O O B-LOCATION I-LOCATION O O B-PERSON O
+O O O O O O O O
+O O I-LOCATION O B-PERSON I-PERSON O O O O O O O O O B-TIME I-TIME O
+B-TIME O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-ORGANIZATION O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O B-LOCATION O O B-QUANTITY I-QUANTITY O B-PERSON O O O O O
+O B-PERSON I-PERSON O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O
+O O O O I-LOCATION O O O O O
+B-ORGANIZATION O O O O O O O O O O O O O O O O
+B-ORGANIZATION O O O O O O O O O O O O B-QUANTITY I-QUANTITY O B-QUANTITY O O O
+B-LOCATION O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION B-LOCATION B-PERSON I-PERSON I-PERSON O B-TIME O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O B-ORGANIZATION O B-TIME O
+B-ORGANIZATION O O O O O O O O B-PERSON I-PERSON O
+O O O O O O O O O B-LOCATION O
+O B-PERSON O O O O O B-ORGANIZATION O O O B-PERSON O O B-PERSON O O O O B-ORGANIZATION O O O O O O O O O
+O O O I-PERSON I-PERSON I-PERSON O O O O O B-ORGANIZATION I-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O B-ORGANIZATION O O O B-LOCATION I-LOCATION I-LOCATION O I-LOCATION O O O B-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O
+O O O O B-QUANTITY I-QUANTITY O O O O O O O
+O O O O B-ORGANIZATION O O B-PERSON O I-PERSON O O O B-PERSON O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON I-PERSON O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON I-PERSON O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON I-PERSON O
+O O B-PERSON O B-PERSON O O O O O O B-PERSON O
+O O O O O O O O O B-LOCATION O
+O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O
+O O O O O O O O O O O O O B-LOCATION O O O B-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O O O O I-LOCATION O
+O I-PERSON O O O B-PERSON I-PERSON O O O O O O B-TIME I-TIME I-TIME O
+B-PERSON O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O B-TIME O
+O O O O B-LOCATION O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON B-PERSON O O O O O O B-LOCATION O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME B-PERSON O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O
+B-PERSON O O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O O O O O O O
+O I-LOCATION I-ORGANIZATION O B-ORGANIZATION O O O O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-QUANTITY I-QUANTITY O O B-LOCATION O O O O O O O I-QUANTITY O O O O O O O O O O O O O O O O B-LOCATION O O B-ORGANIZATION O O O
+O O O O B-TIME O B-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY O
+O O O O O O O O O B-LOCATION B-LOCATION O
+O B-PERSON O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O
+O O O B-PERSON O O B-PERSON O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON I-PERSON I-PERSON O O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O O O O O O O I-LOCATION O O O O
+O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON I-PERSON O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O B-TIME O O O O O O O O
+O O B-LOCATION O B-LOCATION O B-LOCATION O B-PERSON I-PERSON O O O O O B-LOCATION O B-LOCATION O
+B-PERSON O O O O O O O O O B-QUANTITY I-QUANTITY O O
+O O O O O O O O
+O O O B-LOCATION O B-LOCATION O O O O O O O O O
+O B-PERSON O O O O O O O O O O O
+O O O O B-PERSON O O O O B-LOCATION B-LOCATION B-LOCATION O O O O B-ORGANIZATION O O
+O O O O O O O B-LOCATION O O O O
+O B-PERSON O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O O O O O O O O O
+O O O O O O O O O O O O O
+O B-LOCATION B-PERSON I-PERSON O O O O B-PERSON O O O O O O O B-LOCATION O
+O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O B-PERSON O O O O O O O O O O O
+B-PERSON O O O O O O O B-PERSON I-PERSON O O O
+O O O O O O O O O O O O O O O O B-ORGANIZATION O
+O I-QUANTITY O O O O O O O O O O B-PERSON I-PERSON O
+O O B-PERSON O O O O O O O O O O O O O O O O O O O O O O
+O O B-PERSON I-PERSON I-PERSON O O O I-ORGANIZATION O O O O O O
+O B-LOCATION O O O O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O O O B-QUANTITY O O O O O O O O B-QUANTITY I-QUANTITY B-LOCATION O O O O B-LOCATION O O O B-QUANTITY I-QUANTITY O
+O O B-PERSON O O O O O O B-PERSON O
+O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O
+O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O B-QUANTITY I-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O
+O O B-PERSON O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION O
+O O O O B-PERSON O O O O O O O O O O O B-PERSON O O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O O O O O O O O O B-PERSON O O O O O B-PERSON I-PERSON O
+B-PERSON O O O B-LOCATION O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-TIME O O O O O O O O O O B-PERSON O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
+O O O B-PERSON O O O O O O O O O O
+O O B-PERSON I-PERSON O O O O O O I-ORGANIZATION I-ORGANIZATION O O O O O O
+O O O O O O O B-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O B-ORGANIZATION O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O O B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O
+O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O B-QUANTITY I-QUANTITY O O O B-LOCATION O O O B-QUANTITY I-QUANTITY B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O B-LOCATION O O B-PERSON O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O B-ORGANIZATION O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O B-PERSON I-PERSON O O O O O O O
+O I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O
+O B-LOCATION O O B-LOCATION I-LOCATION O B-LOCATION O O O O B-PERSON I-PERSON O O O O O O O O O O O O B-LOCATION O B-TIME O
+O O O O O O O O O O B-LOCATION O O O O B-PERSON I-PERSON I-PERSON O O I-PERSON O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O
+O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O
+O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O O O
+B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O B-ORGANIZATION O O O O O O O O O O O B-LOCATION O
+O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O O O O O O O O B-TIME O O O O O O O O O B-TIME O O O O O O O O O O
+O O O O O O B-PERSON O B-LOCATION O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+O O O O O O B-TIME O O O O O O O O O O O O O O O B-LOCATION O B-LOCATION O O B-LOCATION I-ORGANIZATION O O O O O
+O O O O B-LOCATION O O
+B-ORGANIZATION O O O O O O I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O I-QUANTITY O O O O O O O O B-ORGANIZATION O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O B-PERSON O B-PERSON O O O O O O O O B-PERSON O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O I-ORGANIZATION B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O B-PERSON I-PERSON O O O B-PERSON I-PERSON O O O O O O
+B-PERSON O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON O
+B-PERSON O O O O O O O O O O O O O B-PERSON O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O
+O O O O O O O I-QUANTITY O O
+O O O O B-PERSON I-PERSON O O O O O O O O B-LOCATION I-LOCATION O O O O O O O O O O O O B-ORGANIZATION O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O B-LOCATION I-LOCATION O O O O O O O O O O O
+O O O O O O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON B-PERSON I-PERSON O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O
+O O O O O O O O O O O O
+O B-PERSON O O O I-LOCATION O B-PERSON O O O O O O O O O O O
+O O O B-LOCATION O O O B-LOCATION O O O O B-LOCATION O
+O O B-PERSON O O O O O O O O O I-LOCATION O
+O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O B-TIME I-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O B-PERSON I-PERSON O O O O O O O O O O O O O B-LOCATION O B-LOCATION O B-LOCATION O O B-LOCATION O
+O B-PERSON O B-ORGANIZATION I-ORGANIZATION O O B-QUANTITY O O O O O O O O O O
+B-PERSON O O B-ORGANIZATION I-ORGANIZATION O O O O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O O O O O O
+O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O B-LOCATION O B-LOCATION I-LOCATION O O B-LOCATION O O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O
+O O O O O O B-ORGANIZATION I-ORGANIZATION O O O B-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME I-TIME O
+B-ORGANIZATION I-ORGANIZATION O O O O O O O O B-ORGANIZATION O O O B-LOCATION O O O O B-LOCATION O O B-LOCATION I-LOCATION O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O B-LOCATION O B-LOCATION I-LOCATION B-LOCATION I-LOCATION O B-QUANTITY I-QUANTITY O O
+O O O O B-ORGANIZATION O O B-PERSON O O O O O
+B-PERSON I-PERSON I-PERSON O O O O O B-ORGANIZATION O I-ORGANIZATION O O O O O O B-PERSON O
+O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O B-PERSON I-PERSON I-PERSON O O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O
+O O O O O O O B-LOCATION O O O O O O O O O
+O O O O O B-PERSON O O O O
+B-PERSON B-PERSON I-PERSON O B-LOCATION O B-LOCATION I-LOCATION I-LOCATION B-LOCATION I-LOCATION B-LOCATION O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O B-PERSON O O O O O O O O O O
+O O B-LOCATION O B-TIME I-TIME O O O O O O O O O O O O O O O B-LOCATION O O B-LOCATION O O O O O O O O O O
+B-ORGANIZATION O O O O O O
+O O O O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON O
+O B-LOCATION O O O O O O O O O O O O O O O B-LOCATION O
+O O O O B-PERSON I-PERSON O O O O B-PERSON O
+O O O O O O O O O
+O O B-QUANTITY I-QUANTITY O O O O
+O O O O O O O O
+O O O O O O O O O O B-LOCATION O B-TIME I-TIME O O O O O O O B-LOCATION O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O
+B-PERSON I-PERSON O O O B-ORGANIZATION I-ORGANIZATION O
+O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
+O O O O B-PERSON I-PERSON O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O B-ORGANIZATION O O O O O
+O O O O O O O O O O O O O O O O B-PERSON O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME O
+O O O O O B-ORGANIZATION O O O O O O O O O O O I-ORGANIZATION O
+O O O O O B-ORGANIZATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O B-PERSON O
+O O O
+B-PERSON O B-PERSON O O O O O O O O O O O O O O O O O B-LOCATION O
+O O O O O O O O O O B-LOCATION I-LOCATION O B-LOCATION B-QUANTITY I-QUANTITY O B-LOCATION O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-LOCATION O B-QUANTITY I-QUANTITY I-QUANTITY O
+B-PERSON O B-PERSON O O O O
+O O O O O O O O O O O B-LOCATION O O B-LOCATION O
+O O O O B-TIME O O B-QUANTITY I-QUANTITY O O O O B-LOCATION B-LOCATION O B-LOCATION O
+O O O O O O O O I-ORGANIZATION O I-ORGANIZATION O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION O O O O O O O O O O O O O O
+O O O O O O O O B-LOCATION O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON I-PERSON O O B-ORGANIZATION O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O
+O O O O O O O B-ORGANIZATION O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O B-PERSON O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O B-PERSON O O O O O O O O B-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O B-TIME O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O O B-LOCATION I-LOCATION O
+O O O O O B-LOCATION O O O B-TIME I-TIME O I-TIME I-TIME I-TIME O
+O B-PERSON O O O O O O
+O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O O O O O O B-PERSON O O O B-ORGANIZATION I-ORGANIZATION O O O O O O
+O O O O B-PERSON O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O O O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION O O O O O O I-QUANTITY O O O O O O B-PERSON I-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-PERSON O O O O O O O O O O O O B-LOCATION O O O O O O B-LOCATION O O O O O O O O
+O O O O O O O O O O O B-PERSON O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-PERSON B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-PERSON O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O B-ORGANIZATION I-ORGANIZATION O B-LOCATION O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O B-PERSON B-PERSON I-PERSON O O O O O O O O O O O
+O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O
+O O O O I-LOCATION I-LOCATION O B-PERSON I-PERSON O O O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O O
+B-PERSON O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-LOCATION O O O O
+O O O B-LOCATION B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-LOCATION O
+B-ORGANIZATION I-ORGANIZATION O O O O O O O O
+B-PERSON O O O O O O B-ORGANIZATION O O B-PERSON O O O O B-ORGANIZATION O O B-PERSON O
+O O O O O O O O O O O O O O
+O B-PERSON O B-PERSON O O O B-PERSON O
+B-LOCATION O O O O B-LOCATION O O O O O O O O O O O B-QUANTITY I-QUANTITY O B-TIME O
+O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O B-TIME I-TIME I-TIME I-TIME O O O O O O O B-TIME I-TIME I-TIME O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O I-LOCATION I-LOCATION O
+O O O O O O O
+O O O O O O O O O O O O O B-LOCATION O B-LOCATION O O O O O O O O O O B-LOCATION O O O B-LOCATION B-PERSON I-PERSON O O B-LOCATION B-PERSON I-PERSON O
+O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+B-LOCATION O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O
+B-ORGANIZATION O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O
+O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION O B-TIME O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON B-PERSON I-PERSON O B-PERSON O B-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O B-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O I-QUANTITY O O O O B-LOCATION O O O
+O O O O O O O O O
+O O O O O O B-LOCATION O
+O O O O O O O B-PERSON I-PERSON O O O O
+O O O O O O O O
+O O O O O O O O O O O O O O O B-PERSON O O O O O O B-TIME O O
+O O O O O O O O O O O O B-LOCATION O O O O
+B-LOCATION O O O O O O O O B-QUANTITY I-QUANTITY O B-LOCATION O O O O O O O O B-LOCATION O B-TIME O O O O O O B-LOCATION O B-TIME O
+O O O O O O O O O O O O O O O O O O
+O O O O O B-PERSON I-PERSON I-PERSON O O O O I-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION O
+B-ORGANIZATION O O B-PERSON O O O O O O B-LOCATION O O O O O O O O O O O B-LOCATION O O B-PERSON O O B-LOCATION O O O O B-LOCATION O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O I-PERSON O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O B-LOCATION I-LOCATION O O O B-LOCATION O B-TIME O
+O O O O O
+O B-LOCATION O O O B-QUANTITY I-QUANTITY O B-LOCATION O O O O O O B-LOCATION O
+O I-TIME I-TIME I-TIME B-PERSON I-PERSON O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION O O I-ORGANIZATION O
+O O O O O O O B-LOCATION O
+O O O O O O O O O I-ORGANIZATION I-ORGANIZATION O O O O O O B-LOCATION I-LOCATION O
+O O O O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O B-LOCATION O
+O O B-LOCATION O B-LOCATION O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O B-PERSON O
+O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O B-LOCATION O
+O O O O O O B-PERSON O B-PERSON O O O O O O O
+O O O O B-ORGANIZATION B-PERSON O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O
+O O O O B-PERSON O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O B-LOCATION I-LOCATION O
+O O O B-ORGANIZATION B-ORGANIZATION B-PERSON I-PERSON O O O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O B-LOCATION O O B-LOCATION B-LOCATION O
+O O O B-PERSON O O O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-LOCATION B-PERSON O O O O O O O B-ORGANIZATION O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O I-QUANTITY O O O O O O O B-PERSON I-PERSON O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O
+O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O
+O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O I-TIME O O
+O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O B-PERSON I-PERSON O O O O O O O
+O B-PERSON O O B-PERSON O O O O O O
+O O O O O O I-TIME I-TIME O O O O O B-LOCATION O O B-ORGANIZATION O B-LOCATION O B-LOCATION O O O O O O B-ORGANIZATION O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
+O O O O O O O O O I-ORGANIZATION O I-TIME I-TIME I-TIME O
+O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O B-ORGANIZATION O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O O
+O O O B-ORGANIZATION O B-LOCATION O O O O B-LOCATION O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+B-ORGANIZATION O O B-QUANTITY I-QUANTITY O B-LOCATION I-LOCATION O B-LOCATION O B-LOCATION O B-LOCATION O B-LOCATION O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O B-QUANTITY I-QUANTITY O
+O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON O O O O O O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O O O O
+B-ORGANIZATION O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY O O O O O O O O B-LOCATION B-QUANTITY I-QUANTITY O O O O B-LOCATION O B-LOCATION B-QUANTITY I-QUANTITY I-QUANTITY B-QUANTITY I-QUANTITY O
+O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O B-TIME O
+O O O O O O O O O B-LOCATION I-LOCATION O O O O O O O O B-LOCATION I-LOCATION O
+O B-PERSON O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O
+O B-ORGANIZATION B-PERSON I-PERSON O O O O B-PERSON O O O O O O O
+O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O B-PERSON O
+O B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION B-PERSON I-PERSON O O O B-TIME I-TIME I-TIME I-TIME O
+O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O B-PERSON I-PERSON O
+O O O O O O O O O O O O O O O O O O
+O O O B-PERSON O O O O B-ORGANIZATION O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O B-PERSON O O O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O B-PERSON O B-PERSON O O O O O O O O O O
+O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-TIME O O O B-PERSON I-PERSON O
+O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-LOCATION O O B-LOCATION I-LOCATION O O I-LOCATION I-LOCATION O
+O O O O O O O O O O O O O O O O O B-PERSON O
+O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O O O O
+O B-LOCATION O B-TIME O O O B-LOCATION O B-QUANTITY I-QUANTITY O O O O O O O O O O O B-LOCATION O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O B-LOCATION O O O O
+O O O O O O O O O B-LOCATION O
+O O O
+O B-ORGANIZATION O O O O O B-TIME O B-TIME O O O O O O O O O O O O O O O O O O O O O O O
+O O B-ORGANIZATION O O O O B-PERSON O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O B-PERSON O O O O O O O O O O O O B-PERSON O O O O O O O O B-ORGANIZATION O
+O O O B-PERSON O B-PERSON O O O O O O O O
+O O O B-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
+B-LOCATION O O B-QUANTITY I-QUANTITY O B-TIME O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O O O O O O O B-LOCATION O B-PERSON I-PERSON O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O B-ORGANIZATION O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O I-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O O O O O
+O I-ORGANIZATION O O B-LOCATION O O O O O O O O O O O O O O
+O O B-ORGANIZATION O O O O O B-ORGANIZATION O O O O O O O O O
+O O O O O O B-PERSON O O O O B-PERSON O O O O O O
+O O I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-PERSON O I-PERSON O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O
+O O O O O O O O O B-LOCATION O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O O O O O B-LOCATION O O O O O O O
+B-PERSON O O O O O O O B-TIME O O O O O O O O O O O O O
+O O O O O O O O B-TIME O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY O
+O O O B-ORGANIZATION O O O O O O B-LOCATION O O O B-QUANTITY O O B-QUANTITY I-QUANTITY O O O O O O O O O O O I-ORGANIZATION O I-ORGANIZATION B-PERSON I-PERSON O B-LOCATION O B-TIME O
+O B-PERSON I-PERSON O
+B-PERSON O O O O O O O O
+O O O O O O
+O O O O B-QUANTITY I-QUANTITY O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O O O B-LOCATION I-LOCATION I-LOCATION O B-LOCATION O O O O B-PERSON I-PERSON I-PERSON O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-ORGANIZATION I-ORGANIZATION O B-LOCATION I-LOCATION O B-PERSON I-PERSON O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O B-ORGANIZATION O
+O O O O O
+O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O B-ORGANIZATION O O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O
+O O O B-LOCATION O O O O O O O O O O O O O O O O O O
+B-PERSON O O O O O O O O O O O O O O O O O
+O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O B-QUANTITY B-QUANTITY I-QUANTITY O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O
+O O O B-ORGANIZATION O O O O O O O O O O O O O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O O O B-LOCATION O O O O O O B-ORGANIZATION O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-QUANTITY I-QUANTITY O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O
+B-ORGANIZATION I-ORGANIZATION O O O O O B-TIME O O O O O O O O O O O
+O B-TIME O B-ORGANIZATION O O O O O O I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION B-LOCATION I-LOCATION O
+O O O O O O O O O O O O B-LOCATION O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O
+O O O O O O B-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-ORGANIZATION O O O O O O O O O O O O O O O O O O O
+O O O B-PERSON O O B-TIME I-TIME I-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O O B-TIME O O O B-QUANTITY I-QUANTITY O O O O O O
+O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O B-PERSON I-PERSON O O O O
+O O O O O O O O O O O O O B-LOCATION I-LOCATION O O O O
+O O O O O O O O O O O
+O O O B-PERSON O O B-LOCATION O O O O B-LOCATION O
+B-PERSON O O O O O B-PERSON O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O B-TIME O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O B-TIME I-TIME I-TIME I-TIME O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O O O O I-ORGANIZATION I-ORGANIZATION O O I-ORGANIZATION O O O O O
+O O O O O O O O O O O O B-PERSON O
+O O O O O O O O O O O O O O O O O O O O O I-LOCATION O O O O O O O O O O O O O O O O O O O O O I-ORGANIZATION O
+O B-PERSON O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O B-TIME I-TIME O
+O O O O O O O O O O O O O O B-ORGANIZATION O O O
+B-PERSON O O O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION B-LOCATION O O O O O O O O O O O O
+O O O O O O B-PERSON O B-ORGANIZATION O O O O O O B-PERSON O O O O O O O O O O
+O B-PERSON O O O O B-PERSON O B-ORGANIZATION O O O O B-PERSON O
+O O O O O O O O O O O O O O O B-PERSON O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
+B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O
+O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O
+O B-ORGANIZATION B-PERSON I-PERSON I-PERSON O O O O O O O O O
+O O B-PERSON O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O
+O B-LOCATION B-PERSON I-PERSON O O B-LOCATION O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O
+O O O O O O O O O O O O O O

runs/May27_05-30-37_indolem-petl-vm/events.out.tfevents.1716788101.indolem-petl-vm.3333688.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dda1a30489d4c077c8e867932de4ab43826fce7e12a0b3e205b8494e52e4253d
+size 560

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 20.0,
+    "train_loss": 0.3170195840439706,
+    "train_runtime": 250.6514,
+    "train_samples": 1688,
+    "train_samples_per_second": 134.689,
+    "train_steps_per_second": 8.458
+}

trainer_state.json

@@ -0,0 +1,410 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 20.0,
+  "eval_steps": 500,
+  "global_step": 2120,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 1.0,
+      "grad_norm": 2.2999746799468994,
+      "learning_rate": 4.75e-05,
+      "loss": 1.1713,
+      "step": 106
+    },
+    {
+      "epoch": 1.0,
+      "eval_accuracy": 0.8409311348205626,
+      "eval_f1": 0.0,
+      "eval_loss": 0.7071256041526794,
+      "eval_precision": 0.0,
+      "eval_recall": 0.0,
+      "eval_runtime": 0.9522,
+      "eval_samples_per_second": 196.383,
+      "eval_steps_per_second": 3.151,
+      "step": 106
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 1.0216118097305298,
+      "learning_rate": 4.5e-05,
+      "loss": 0.6926,
+      "step": 212
+    },
+    {
+      "epoch": 2.0,
+      "eval_accuracy": 0.8423860329776915,
+      "eval_f1": 0.005649717514124294,
+      "eval_loss": 0.5930758118629456,
+      "eval_precision": 0.14285714285714285,
+      "eval_recall": 0.002881844380403458,
+      "eval_runtime": 0.9777,
+      "eval_samples_per_second": 191.274,
+      "eval_steps_per_second": 3.069,
+      "step": 212
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 0.8826305866241455,
+      "learning_rate": 4.25e-05,
+      "loss": 0.5817,
+      "step": 318
+    },
+    {
+      "epoch": 3.0,
+      "eval_accuracy": 0.8569350145489816,
+      "eval_f1": 0.08056872037914692,
+      "eval_loss": 0.4742017984390259,
+      "eval_precision": 0.22666666666666666,
+      "eval_recall": 0.04899135446685879,
+      "eval_runtime": 1.0111,
+      "eval_samples_per_second": 184.94,
+      "eval_steps_per_second": 2.967,
+      "step": 318
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 1.3105428218841553,
+      "learning_rate": 4e-05,
+      "loss": 0.4666,
+      "step": 424
+    },
+    {
+      "epoch": 4.0,
+      "eval_accuracy": 0.8891852570320078,
+      "eval_f1": 0.30927835051546393,
+      "eval_loss": 0.3593873977661133,
+      "eval_precision": 0.3829787234042553,
+      "eval_recall": 0.25936599423631124,
+      "eval_runtime": 0.9655,
+      "eval_samples_per_second": 193.681,
+      "eval_steps_per_second": 3.107,
+      "step": 424
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 1.0283387899398804,
+      "learning_rate": 3.7500000000000003e-05,
+      "loss": 0.3704,
+      "step": 530
+    },
+    {
+      "epoch": 5.0,
+      "eval_accuracy": 0.9224054316197866,
+      "eval_f1": 0.5646067415730337,
+      "eval_loss": 0.28127148747444153,
+      "eval_precision": 0.5506849315068493,
+      "eval_recall": 0.579250720461095,
+      "eval_runtime": 0.9482,
+      "eval_samples_per_second": 197.225,
+      "eval_steps_per_second": 3.164,
+      "step": 530
+    },
+    {
+      "epoch": 6.0,
+      "grad_norm": 1.3173450231552124,
+      "learning_rate": 3.5e-05,
+      "loss": 0.3059,
+      "step": 636
+    },
+    {
+      "epoch": 6.0,
+      "eval_accuracy": 0.9308923375363725,
+      "eval_f1": 0.649810366624526,
+      "eval_loss": 0.25490570068359375,
+      "eval_precision": 0.5788288288288288,
+      "eval_recall": 0.7406340057636888,
+      "eval_runtime": 0.9399,
+      "eval_samples_per_second": 198.949,
+      "eval_steps_per_second": 3.192,
+      "step": 636
+    },
+    {
+      "epoch": 7.0,
+      "grad_norm": 3.4609148502349854,
+      "learning_rate": 3.2500000000000004e-05,
+      "loss": 0.2714,
+      "step": 742
+    },
+    {
+      "epoch": 7.0,
+      "eval_accuracy": 0.9340446168768186,
+      "eval_f1": 0.6599496221662469,
+      "eval_loss": 0.22036689519882202,
+      "eval_precision": 0.5861297539149888,
+      "eval_recall": 0.7550432276657061,
+      "eval_runtime": 0.9505,
+      "eval_samples_per_second": 196.728,
+      "eval_steps_per_second": 3.156,
+      "step": 742
+    },
+    {
+      "epoch": 8.0,
+      "grad_norm": 0.8445060849189758,
+      "learning_rate": 3e-05,
+      "loss": 0.2413,
+      "step": 848
+    },
+    {
+      "epoch": 8.0,
+      "eval_accuracy": 0.9386517943743938,
+      "eval_f1": 0.6888604353393085,
+      "eval_loss": 0.2004237025976181,
+      "eval_precision": 0.619815668202765,
+      "eval_recall": 0.7752161383285303,
+      "eval_runtime": 0.9573,
+      "eval_samples_per_second": 195.336,
+      "eval_steps_per_second": 3.134,
+      "step": 848
+    },
+    {
+      "epoch": 9.0,
+      "grad_norm": 2.690342426300049,
+      "learning_rate": 2.7500000000000004e-05,
+      "loss": 0.2254,
+      "step": 954
+    },
+    {
+      "epoch": 9.0,
+      "eval_accuracy": 0.9437439379243453,
+      "eval_f1": 0.7182175622542595,
+      "eval_loss": 0.18190042674541473,
+      "eval_precision": 0.6586538461538461,
+      "eval_recall": 0.7896253602305475,
+      "eval_runtime": 0.9658,
+      "eval_samples_per_second": 193.618,
+      "eval_steps_per_second": 3.106,
+      "step": 954
+    },
+    {
+      "epoch": 10.0,
+      "grad_norm": 1.1959707736968994,
+      "learning_rate": 2.5e-05,
+      "loss": 0.2124,
+      "step": 1060
+    },
+    {
+      "epoch": 10.0,
+      "eval_accuracy": 0.9413191076624636,
+      "eval_f1": 0.7137452711223203,
+      "eval_loss": 0.1822657734155655,
+      "eval_precision": 0.6345291479820628,
+      "eval_recall": 0.8155619596541787,
+      "eval_runtime": 0.9657,
+      "eval_samples_per_second": 193.648,
+      "eval_steps_per_second": 3.107,
+      "step": 1060
+    },
+    {
+      "epoch": 11.0,
+      "grad_norm": 1.214078664779663,
+      "learning_rate": 2.25e-05,
+      "loss": 0.2005,
+      "step": 1166
+    },
+    {
+      "epoch": 11.0,
+      "eval_accuracy": 0.9435014548981572,
+      "eval_f1": 0.7291399229781771,
+      "eval_loss": 0.1729801595211029,
+      "eval_precision": 0.6574074074074074,
+      "eval_recall": 0.8184438040345822,
+      "eval_runtime": 1.0385,
+      "eval_samples_per_second": 180.06,
+      "eval_steps_per_second": 2.889,
+      "step": 1166
+    },
+    {
+      "epoch": 12.0,
+      "grad_norm": 1.4165897369384766,
+      "learning_rate": 2e-05,
+      "loss": 0.1936,
+      "step": 1272
+    },
+    {
+      "epoch": 12.0,
+      "eval_accuracy": 0.9437439379243453,
+      "eval_f1": 0.7309644670050761,
+      "eval_loss": 0.17243283987045288,
+      "eval_precision": 0.6530612244897959,
+      "eval_recall": 0.829971181556196,
+      "eval_runtime": 0.9547,
+      "eval_samples_per_second": 195.872,
+      "eval_steps_per_second": 3.142,
+      "step": 1272
+    },
+    {
+      "epoch": 13.0,
+      "grad_norm": 1.1591920852661133,
+      "learning_rate": 1.75e-05,
+      "loss": 0.185,
+      "step": 1378
+    },
+    {
+      "epoch": 13.0,
+      "eval_accuracy": 0.9471387002909797,
+      "eval_f1": 0.7467700258397932,
+      "eval_loss": 0.16124626994132996,
+      "eval_precision": 0.6768149882903981,
+      "eval_recall": 0.8328530259365994,
+      "eval_runtime": 0.9571,
+      "eval_samples_per_second": 195.385,
+      "eval_steps_per_second": 3.135,
+      "step": 1378
+    },
+    {
+      "epoch": 14.0,
+      "grad_norm": 2.5926523208618164,
+      "learning_rate": 1.5e-05,
+      "loss": 0.1832,
+      "step": 1484
+    },
+    {
+      "epoch": 14.0,
+      "eval_accuracy": 0.9459262851600388,
+      "eval_f1": 0.7468030690537084,
+      "eval_loss": 0.16204160451889038,
+      "eval_precision": 0.671264367816092,
+      "eval_recall": 0.8414985590778098,
+      "eval_runtime": 0.9591,
+      "eval_samples_per_second": 194.979,
+      "eval_steps_per_second": 3.128,
+      "step": 1484
+    },
+    {
+      "epoch": 15.0,
+      "grad_norm": 1.3096563816070557,
+      "learning_rate": 1.25e-05,
+      "loss": 0.1779,
+      "step": 1590
+    },
+    {
+      "epoch": 15.0,
+      "eval_accuracy": 0.944713870029098,
+      "eval_f1": 0.7465321563682219,
+      "eval_loss": 0.16603896021842957,
+      "eval_precision": 0.6636771300448431,
+      "eval_recall": 0.8530259365994236,
+      "eval_runtime": 0.9615,
+      "eval_samples_per_second": 194.497,
+      "eval_steps_per_second": 3.12,
+      "step": 1590
+    },
+    {
+      "epoch": 16.0,
+      "grad_norm": 1.5998663902282715,
+      "learning_rate": 1e-05,
+      "loss": 0.1728,
+      "step": 1696
+    },
+    {
+      "epoch": 16.0,
+      "eval_accuracy": 0.9464112512124151,
+      "eval_f1": 0.7576530612244898,
+      "eval_loss": 0.16201747953891754,
+      "eval_precision": 0.6796338672768879,
+      "eval_recall": 0.8559077809798271,
+      "eval_runtime": 0.9632,
+      "eval_samples_per_second": 194.148,
+      "eval_steps_per_second": 3.115,
+      "step": 1696
+    },
+    {
+      "epoch": 17.0,
+      "grad_norm": 0.859991729259491,
+      "learning_rate": 7.5e-06,
+      "loss": 0.175,
+      "step": 1802
+    },
+    {
+      "epoch": 17.0,
+      "eval_accuracy": 0.946168768186227,
+      "eval_f1": 0.756066411238825,
+      "eval_loss": 0.15951132774353027,
+      "eval_precision": 0.6788990825688074,
+      "eval_recall": 0.8530259365994236,
+      "eval_runtime": 0.9644,
+      "eval_samples_per_second": 193.906,
+      "eval_steps_per_second": 3.111,
+      "step": 1802
+    },
+    {
+      "epoch": 18.0,
+      "grad_norm": 1.1863709688186646,
+      "learning_rate": 5e-06,
+      "loss": 0.1735,
+      "step": 1908
+    },
+    {
+      "epoch": 18.0,
+      "eval_accuracy": 0.9476236663433559,
+      "eval_f1": 0.7609254498714653,
+      "eval_loss": 0.15725380182266235,
+      "eval_precision": 0.6867749419953596,
+      "eval_recall": 0.8530259365994236,
+      "eval_runtime": 0.9472,
+      "eval_samples_per_second": 197.433,
+      "eval_steps_per_second": 3.167,
+      "step": 1908
+    },
+    {
+      "epoch": 19.0,
+      "grad_norm": 0.9686495065689087,
+      "learning_rate": 2.5e-06,
+      "loss": 0.1699,
+      "step": 2014
+    },
+    {
+      "epoch": 19.0,
+      "eval_accuracy": 0.9473811833171678,
+      "eval_f1": 0.7599486521181001,
+      "eval_loss": 0.15704266726970673,
+      "eval_precision": 0.6851851851851852,
+      "eval_recall": 0.8530259365994236,
+      "eval_runtime": 0.9569,
+      "eval_samples_per_second": 195.417,
+      "eval_steps_per_second": 3.135,
+      "step": 2014
+    },
+    {
+      "epoch": 20.0,
+      "grad_norm": 1.602736473083496,
+      "learning_rate": 0.0,
+      "loss": 0.1701,
+      "step": 2120
+    },
+    {
+      "epoch": 20.0,
+      "eval_accuracy": 0.9473811833171678,
+      "eval_f1": 0.7615384615384614,
+      "eval_loss": 0.15662546455860138,
+      "eval_precision": 0.6859122401847575,
+      "eval_recall": 0.8559077809798271,
+      "eval_runtime": 0.9685,
+      "eval_samples_per_second": 193.077,
+      "eval_steps_per_second": 3.097,
+      "step": 2120
+    },
+    {
+      "epoch": 20.0,
+      "step": 2120,
+      "total_flos": 925058033588832.0,
+      "train_loss": 0.3170195840439706,
+      "train_runtime": 250.6514,
+      "train_samples_per_second": 134.689,
+      "train_steps_per_second": 8.458
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 2120,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 20,
+  "save_steps": 500,
+  "total_flos": 925058033588832.0,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}