apwic commited on
Commit
38cab9e
1 Parent(s): 6a78d15

End of training

Browse files
README.md CHANGED
@@ -1,4 +1,6 @@
1
  ---
 
 
2
  license: mit
3
  base_model: indolem/indobert-base-uncased
4
  tags:
 
1
  ---
2
+ language:
3
+ - id
4
  license: mit
5
  base_model: indolem/indobert-base-uncased
6
  tags:
all_results.json ADDED
@@ -0,0 +1,25 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 20.0,
3
+ "eval_accuracy": 0.963124199743918,
4
+ "eval_f1": 0.8583569405099151,
5
+ "eval_loss": 0.2749256491661072,
6
+ "eval_precision": 0.8233695652173914,
7
+ "eval_recall": 0.8964497041420119,
8
+ "eval_runtime": 0.8027,
9
+ "eval_samples": 187,
10
+ "eval_samples_per_second": 232.958,
11
+ "eval_steps_per_second": 3.737,
12
+ "predict_accuracy": 0.9955491049830673,
13
+ "predict_f1": 0.9845626072041166,
14
+ "predict_loss": 0.033801984041929245,
15
+ "predict_precision": 0.9784090909090909,
16
+ "predict_recall": 0.9907940161104718,
17
+ "predict_runtime": 1.8565,
18
+ "predict_samples_per_second": 252.091,
19
+ "predict_steps_per_second": 4.309,
20
+ "train_loss": 0.03541206091572091,
21
+ "train_runtime": 493.9256,
22
+ "train_samples": 1687,
23
+ "train_samples_per_second": 68.31,
24
+ "train_steps_per_second": 4.292
25
+ }
eval_results.json ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 20.0,
3
+ "eval_accuracy": 0.963124199743918,
4
+ "eval_f1": 0.8583569405099151,
5
+ "eval_loss": 0.2749256491661072,
6
+ "eval_precision": 0.8233695652173914,
7
+ "eval_recall": 0.8964497041420119,
8
+ "eval_runtime": 0.8027,
9
+ "eval_samples": 187,
10
+ "eval_samples_per_second": 232.958,
11
+ "eval_steps_per_second": 3.737
12
+ }
predict_results.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "predict_accuracy": 0.9955491049830673,
3
+ "predict_f1": 0.9845626072041166,
4
+ "predict_loss": 0.033801984041929245,
5
+ "predict_precision": 0.9784090909090909,
6
+ "predict_recall": 0.9907940161104718,
7
+ "predict_runtime": 1.8565,
8
+ "predict_samples_per_second": 252.091,
9
+ "predict_steps_per_second": 4.309
10
+ }
predictions.txt ADDED
@@ -0,0 +1,468 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ O O O O O O O O O O O O O
2
+ O O O O O O O
3
+ B-PERSON O O O O O O O O B-LOCATION O O B-PERSON I-PERSON I-PERSON I-PERSON O O O O B-LOCATION O B-LOCATION O O O O B-LOCATION O O O O O O O O
4
+ O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O
5
+ O O O B-LOCATION I-LOCATION O O O O O O O B-LOCATION I-LOCATION O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-LOCATION I-LOCATION O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O
6
+ O B-ORGANIZATION O O O O O O O O O O O O O O O O O O
7
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O B-LOCATION I-LOCATION O B-LOCATION O O O O O O O O O O
8
+ O O B-ORGANIZATION O O O O B-TIME I-TIME O
9
+ O O O O O O O O O O O O O O O O O
10
+ O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON O O O O O O O O O O O B-LOCATION O O O O O O B-PERSON I-PERSON O O O O O
11
+ O O B-PERSON I-PERSON I-PERSON O B-ORGANIZATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O
12
+ B-PERSON O O O B-PERSON O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O B-LOCATION O
13
+ O O B-PERSON O O O O O O O O O O O O O O O O O O O O
14
+ O O O B-PERSON O O B-PERSON O O O O O O O O
15
+ B-ORGANIZATION O O O O B-PERSON O O O O O O O O O O O B-TIME O
16
+ B-PERSON O O B-PERSON O O O O O O O O O O O O O O O
17
+ O O O O O O O O O O O O O O
18
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
19
+ O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-PERSON O B-PERSON I-PERSON O
20
+ O O O O O O O O O O
21
+ O O O O O
22
+ O O O O O O O O O O O O O O O O O O O O O O
23
+ O O O B-LOCATION I-LOCATION O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
24
+ O O O O O O O O O O O O O O O B-LOCATION O O O O
25
+ O O O O O O O O O O O O O O
26
+ B-ORGANIZATION O O O B-PERSON O O O O O O O O O O O O O O O
27
+ O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
28
+ O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
29
+ O O O O O B-LOCATION O O O O O B-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON O
30
+ B-PERSON O O O O O O B-TIME I-TIME O
31
+ O O O O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O
32
+ O B-PERSON O O O O O O O O O O O O
33
+ O O O O O O O B-TIME I-TIME I-TIME I-TIME O O O O O O O O O O O
34
+ O O B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
35
+ O O B-ORGANIZATION O O O O O O O O O O
36
+ O B-PERSON O O O O O O O O O O O O
37
+ B-ORGANIZATION O B-TIME O O O O B-QUANTITY I-QUANTITY O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
38
+ O B-LOCATION O O O O O O O O O O O O O B-LOCATION O O O O O O O B-LOCATION O
39
+ O O O O O O O O O B-ORGANIZATION O B-ORGANIZATION O B-ORGANIZATION O O O B-ORGANIZATION O O B-ORGANIZATION O
40
+ O O O O O O O B-LOCATION I-LOCATION O O O O O I-QUANTITY O O O O O O O
41
+ B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O
42
+ O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O O O B-PERSON I-PERSON O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
43
+ B-PERSON O O O O O O O O O O O
44
+ O O B-ORGANIZATION I-ORGANIZATION O B-PERSON O O O B-QUANTITY I-QUANTITY I-QUANTITY O B-PERSON O
45
+ O O O O O O O O O
46
+ B-LOCATION O O O O O O O O O O O O B-TIME I-TIME I-TIME I-TIME O O O B-PERSON I-PERSON O O O O O O O O O O O O O
47
+ O B-LOCATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-LOCATION O
48
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O B-TIME O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O
49
+ O O O O O O B-ORGANIZATION O O O B-ORGANIZATION O O O O O
50
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
51
+ O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O B-TIME I-TIME I-TIME I-TIME I-TIME I-TIME O
52
+ O O O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O O
53
+ O O O O O O O O O O O O O O O O O O O O
54
+ B-PERSON I-PERSON I-PERSON O B-QUANTITY O O O O O O O O B-QUANTITY I-QUANTITY O O O O B-ORGANIZATION O
55
+ B-PERSON I-PERSON O O B-ORGANIZATION O O O O O O O O O O O O
56
+ O O O O B-PERSON O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O
57
+ O O O O O O B-ORGANIZATION O O O O O O O O O B-TIME I-TIME I-TIME O
58
+ O O O O O O O O B-ORGANIZATION O O O O O O O O O O
59
+ O O O O B-PERSON O B-PERSON O O O O
60
+ B-TIME I-TIME O B-ORGANIZATION O O O O O O O O
61
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
62
+ B-PERSON O B-PERSON O O O O O O O O O
63
+ O B-ORGANIZATION B-LOCATION I-LOCATION I-LOCATION I-LOCATION O O O O B-PERSON I-PERSON O O O B-PERSON I-PERSON O O B-ORGANIZATION B-LOCATION I-LOCATION O O O O B-PERSON I-PERSON O B-ORGANIZATION O O O O B-LOCATION I-LOCATION I-LOCATION O B-LOCATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
64
+ O O O O O O O O O O O O O O O O O O O O
65
+ O O O O
66
+ O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O
67
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O
68
+ O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O B-TIME O O O O O O O O O O O O O O O O
69
+ O O O O O O O O O O O
70
+ O O O O O B-ORGANIZATION O O O B-ORGANIZATION O O O O
71
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
72
+ B-PERSON B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O
73
+ O O O O O O O O O O O O O O O O O O O O
74
+ B-ORGANIZATION O O O O O O B-LOCATION O O O O O O O O O O O O
75
+ O O O O B-ORGANIZATION I-ORGANIZATION O O O O B-PERSON O B-PERSON I-PERSON O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION O
76
+ O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O
77
+ O O O O O O O O O O O O O O B-PERSON O
78
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
79
+ B-PERSON O O O O O O O O O O O O O O O O O
80
+ B-ORGANIZATION I-ORGANIZATION O O O O O O B-ORGANIZATION O O O B-ORGANIZATION O
81
+ O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O O O O O O O
82
+ O O O O O O O O B-TIME I-TIME O O O O O O O O O O O O O O O O O O O O O
83
+ O O O O O B-QUANTITY I-QUANTITY O
84
+ O B-TIME I-TIME O O O O O O O O O
85
+ O O O B-LOCATION O O B-LOCATION O O O B-PERSON O
86
+ B-LOCATION O B-LOCATION O O O O O B-ORGANIZATION I-ORGANIZATION O O O B-LOCATION I-LOCATION O B-LOCATION O O O O O
87
+ O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O B-LOCATION B-LOCATION O
88
+ O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON B-QUANTITY I-QUANTITY O
89
+ B-LOCATION O O O O O O O O
90
+ O O O O O O O O O O O O O O O O O O O O O O O O
91
+ O O O O O O O O O O
92
+ O O O B-PERSON O O O O O O O O O O B-PERSON O
93
+ O B-ORGANIZATION I-ORGANIZATION O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O O
94
+ O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O B-LOCATION O O O O O
95
+ O O B-ORGANIZATION O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O B-LOCATION O O O O B-LOCATION O B-LOCATION O
96
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O
97
+ O O O O B-QUANTITY I-QUANTITY O O O O O O B-TIME O O
98
+ O O O O O O O O O O
99
+ O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O O O
100
+ O O O O O O O O O
101
+ O O O O O O O O O O O O O O O O O O O O O O O O O
102
+ O O O O O O O O O O O O O O O O O B-TIME I-TIME I-TIME O O B-LOCATION I-LOCATION I-LOCATION O
103
+ O O O O O O O O O O O O O O O O O O O O O O O O O
104
+ O O O O O B-LOCATION O O B-LOCATION O O O O O B-LOCATION O
105
+ O O O O B-PERSON O O B-PERSON O O O O O O
106
+ O O O B-LOCATION O O O B-TIME I-TIME I-TIME I-TIME O O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
107
+ O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O
108
+ O O B-PERSON I-PERSON O B-QUANTITY I-QUANTITY O O O O O B-LOCATION O O O O O O O O O O O B-PERSON B-TIME I-TIME O O O O O O O O O O O O
109
+ O O O O O O B-PERSON I-PERSON O
110
+ O B-PERSON O O O O O O O O O O O O O O O O O
111
+ O O O O O O O O O O O O O O O O
112
+ O O O O B-LOCATION O O O O O O O O O O B-LOCATION O
113
+ O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O B-ORGANIZATION O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
114
+ O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O B-PERSON O B-TIME I-TIME I-TIME I-TIME O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O
115
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-ORGANIZATION O B-QUANTITY I-QUANTITY O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O B-QUANTITY I-QUANTITY O
116
+ O O O O O
117
+ B-PERSON O O O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O
118
+ O O O O O O O O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O
119
+ B-PERSON I-PERSON O O O O B-PERSON I-PERSON O B-ORGANIZATION O
120
+ O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O O O O O O O
121
+ O O O B-PERSON I-PERSON O O O O B-PERSON I-PERSON O O O O O O O O O O
122
+ O O O O O O O O O O O O O O O O O O O O O O O O O
123
+ O O O O O O O O O O O O O O
124
+ O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O
125
+ O O O O O O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O
126
+ B-PERSON O O O O O O O O O O O O O O O
127
+ O O O O O O O O O O O O O O O O
128
+ O O O O O O O O O O O O O O O O
129
+ O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O
130
+ O O B-TIME I-TIME I-TIME O O O O B-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION O B-QUANTITY I-QUANTITY O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-QUANTITY I-QUANTITY O O B-ORGANIZATION I-ORGANIZATION B-ORGANIZATION I-ORGANIZATION O O O O O
131
+ O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O
132
+ O O B-LOCATION B-PERSON I-PERSON O O B-ORGANIZATION O O O O O B-QUANTITY I-QUANTITY O O O O O O B-LOCATION I-LOCATION O
133
+ B-PERSON I-PERSON O O O O O O O O O O
134
+ B-PERSON O B-PERSON I-PERSON O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O B-LOCATION I-LOCATION O O O O O O O O O O O B-ORGANIZATION O B-LOCATION O O B-TIME O O
135
+ O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O
136
+ O O O O O O O O O O O O O
137
+ O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O
138
+ O O O O O B-ORGANIZATION O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O B-LOCATION O B-PERSON I-PERSON I-PERSON O O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O
139
+ O O O O O O O O O O O B-ORGANIZATION O
140
+ O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O
141
+ O O O B-LOCATION I-LOCATION O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-TIME O
142
+ O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON I-PERSON O O O O O
143
+ O O O O O O O O O O O O O
144
+ O O O O O O O O O O O O O O O
145
+ O O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O B-PERSON O I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
146
+ O O B-PERSON O O O O O O O O O B-PERSON O O
147
+ O O O O O O O O O O O O
148
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
149
+ O O O B-ORGANIZATION I-ORGANIZATION O B-ORGANIZATION O O O O O B-PERSON O O O
150
+ O O O O O O O O O O O O O
151
+ O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O O O O O O O O B-TIME O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O
152
+ O O O O O O O O O O
153
+ O O O O O O O O O B-TIME I-TIME O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O
154
+ O O B-PERSON I-PERSON O B-PERSON O O O O O O O O O O O O O O O
155
+ O O O O O O O O O O O
156
+ B-PERSON O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION O O O O O O O
157
+ O O O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-QUANTITY I-QUANTITY O
158
+ B-PERSON O O B-ORGANIZATION I-ORGANIZATION O O O O O O
159
+ O O O O O O O O O O O O
160
+ O O O O O O O O O O O B-PERSON O
161
+ B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O
162
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
163
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O B-PERSON I-PERSON I-PERSON O
164
+ O O O O O O O O O O O O O
165
+ O O O O O O O O O O O O O O O O O O O O O
166
+ O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O B-PERSON I-PERSON O O O O O O O O O O O
167
+ O O O O O O O O O O O O O O O B-ORGANIZATION O O O O O O O
168
+ O O B-PERSON O O O O O O B-LOCATION I-LOCATION O O O O
169
+ B-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
170
+ O O O O O O O O O O O O
171
+ O O O O O O B-PERSON O O O O O O O O O O O O O
172
+ O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
173
+ O O O O O O O O O O O O O O
174
+ O O O O O O O O O O O O O O O O O
175
+ O O O O O O O O O O O O O O O O O
176
+ O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON O O O B-ORGANIZATION O
177
+ O O O O O O O O O O O O O O O O O O O
178
+ O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O O B-ORGANIZATION O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
179
+ O B-ORGANIZATION O O O O O B-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O B-ORGANIZATION O
180
+ O O O O O O O O B-PERSON I-PERSON O O O O O O O B-ORGANIZATION I-ORGANIZATION O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O
181
+ B-PERSON O O O O O O O O O O O O
182
+ O O O O O O O O O O O O O O B-PERSON I-PERSON I-PERSON O O O O O
183
+ O O B-PERSON I-PERSON O O O O O O O B-PERSON O O B-ORGANIZATION O O O O B-PERSON I-PERSON O O O O O O O O O O
184
+ O O O B-LOCATION O O O O O O O O B-QUANTITY I-QUANTITY O B-TIME I-TIME I-TIME I-TIME O B-TIME I-TIME I-TIME I-TIME O O
185
+ O O O O O O O O O O O O
186
+ O O O O O O O I-PERSON O O O O O O O O
187
+ O O O O O O O O O O O O O O O O O O O O
188
+ O O O B-LOCATION I-LOCATION B-PERSON I-PERSON O O O O O O O O B-PERSON O O O O O O B-PERSON O O O O O
189
+ O O O O O O O O O O O O O O O
190
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
191
+ B-PERSON O O O O O O O O O O O O O O O O O O O O
192
+ O O O O O O O O O B-ORGANIZATION O B-ORGANIZATION O O O B-ORGANIZATION O O O O O O O O O O O
193
+ O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
194
+ O O O O O B-LOCATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O
195
+ O O O O O O O O O O O B-TIME I-TIME I-TIME I-TIME I-TIME O
196
+ O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O O O O O
197
+ B-LOCATION O O O O O O O O O O O B-LOCATION O O O O O O B-LOCATION O O O O O O
198
+ O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O
199
+ O O O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O
200
+ O O O O O O O O O O O O O O O O O
201
+ O O O O O B-PERSON I-PERSON O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
202
+ O O O O O O O
203
+ B-ORGANIZATION O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY B-ORGANIZATION O O O O O
204
+ O O B-LOCATION O O O O O O O O O O O O O O
205
+ O O O B-PERSON O B-PERSON O O O O O O O O O O O O O O
206
+ O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O B-TIME O O O O O O O O O O O O
207
+ O O O O O O O B-LOCATION O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O B-LOCATION B-TIME I-TIME I-TIME O
208
+ O O O O O O O O O O B-LOCATION O O O
209
+ O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-TIME I-TIME I-TIME O
210
+ O B-PERSON O O O O O O O B-TIME I-TIME O O
211
+ O O O O O O O O O O O O O O O O
212
+ O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O B-LOCATION O
213
+ O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O B-QUANTITY I-QUANTITY O O
214
+ O O O B-LOCATION O O O O O
215
+ O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O O O O O O O O O O
216
+ O O O B-PERSON O O O O O O O O O O O O O O O O
217
+ O O O O B-ORGANIZATION O B-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON O O B-PERSON I-PERSON O
218
+ O O O O O O O O O O O O O O O O O O O O O O O O
219
+ O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O
220
+ B-QUANTITY I-QUANTITY O O O O O B-LOCATION O I-QUANTITY O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O
221
+ O O O O O O O O O O O O O O O O B-LOCATION O O O O
222
+ B-ORGANIZATION O O O O O O O O O O O O O O O O O O O
223
+ O O O O O O O O O O O O O O O O O O
224
+ O O O B-TIME I-TIME I-TIME I-TIME O O O O O O O O
225
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O B-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
226
+ B-PERSON I-PERSON I-PERSON B-QUANTITY I-QUANTITY I-QUANTITY O O O O O B-PERSON I-PERSON O O O O O O
227
+ B-PERSON O O O O O O B-PERSON I-PERSON O O O O O O B-PERSON I-PERSON O O O O O
228
+ O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
229
+ O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION O
230
+ O O O O O O B-PERSON O B-PERSON O O O O O O O O O O O O O O O
231
+ O O O O O O O O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
232
+ O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O B-PERSON O B-PERSON O O O O O B-PERSON O O O O B-ORGANIZATION O B-ORGANIZATION O O O O B-PERSON O O O B-PERSON O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
233
+ O O O O O O O O B-ORGANIZATION O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
234
+ O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O O
235
+ O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O B-TIME I-TIME I-TIME I-TIME O
236
+ O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O
237
+ O O O O B-LOCATION O O O B-QUANTITY I-QUANTITY I-QUANTITY O O B-ORGANIZATION O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O
238
+ O O O O O O O O O O O O O O O O O O O O O O O O B-TIME I-TIME O O
239
+ O O O O O O O O O O O O O O O O O O O O B-PERSON O O O B-ORGANIZATION I-ORGANIZATION O O O B-LOCATION O B-TIME I-TIME O O O O O B-LOCATION I-LOCATION O O O O O O B-LOCATION O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
240
+ O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-TIME I-TIME I-TIME I-TIME O
241
+ O O O B-LOCATION O B-LOCATION O O O B-TIME O O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O
242
+ O O O O O O O O B-ORGANIZATION O O O B-PERSON O
243
+ O O B-ORGANIZATION O O O O O O O O O O O O
244
+ O O O O O O O B-LOCATION I-LOCATION O
245
+ O B-PERSON O O O O O O B-PERSON O O O O
246
+ O O O O I-PERSON O O O B-PERSON O O O O O B-LOCATION I-LOCATION O B-LOCATION I-LOCATION O B-LOCATION O O B-LOCATION O
247
+ O O O O O O O O O O B-LOCATION O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O B-PERSON I-PERSON O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O B-LOCATION O
248
+ B-PERSON O O O O O B-LOCATION O B-TIME O O O O O O B-LOCATION I-LOCATION O O O O B-LOCATION B-PERSON I-PERSON O
249
+ O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-TIME I-TIME I-TIME I-TIME O B-LOCATION O
250
+ O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O
251
+ O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O B-LOCATION I-LOCATION O B-TIME I-TIME O O B-LOCATION O O O O O O O B-ORGANIZATION O O O
252
+ O O O O O B-LOCATION O B-PERSON I-PERSON I-PERSON I-PERSON O O O O O O O
253
+ O O B-PERSON O O O O O O O O O O O O O O O B-PERSON I-PERSON O
254
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-LOCATION O O O O
255
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
256
+ O O O O O O O O O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
257
+ O O O O O O O O O O O O O O O
258
+ O B-PERSON O O O O O O
259
+ O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O O O O O O O O O O
260
+ B-PERSON O O O O O O O O O O O O O O
261
+ O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-TIME O O O O O O O O O O O O O O O O O O B-TIME I-TIME I-TIME O O O O O O O O O O O O O O
262
+ O O O O O O O O O O O O O B-TIME O O
263
+ B-QUANTITY I-QUANTITY B-LOCATION O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O B-LOCATION O O O O O B-LOCATION I-LOCATION O O O O O O
264
+ O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O
265
+ O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O B-PERSON I-PERSON O
266
+ O O B-PERSON I-PERSON O O O O B-ORGANIZATION O O O O
267
+ O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O O O O O O
268
+ O O O O O O O O O O O O O O O O O O O O
269
+ B-LOCATION O O O O O O B-LOCATION O O O O B-LOCATION O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O
270
+ B-PERSON O O O O B-PERSON I-PERSON O O O O B-ORGANIZATION O O O O
271
+ O B-PERSON O O O O O O O O O O O O O O O O O
272
+ B-PERSON I-PERSON O O O O O O O O B-ORGANIZATION O O O O O O
273
+ O O O B-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O
274
+ O O O B-ORGANIZATION O O O O O O O B-QUANTITY I-QUANTITY O
275
+ O B-PERSON O O O O O O O O O
276
+ O O B-PERSON O O O O O B-PERSON I-PERSON O O O O
277
+ O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY B-LOCATION O B-LOCATION O B-TIME O
278
+ O B-PERSON O O O O O O O O O O O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O
279
+ B-PERSON O O O O O O O O O O O O B-PERSON O O O O O O O O O
280
+ B-QUANTITY I-QUANTITY O O O O B-LOCATION O O O B-LOCATION B-LOCATION O B-LOCATION O O O B-LOCATION O B-LOCATION O
281
+ B-LOCATION O B-LOCATION O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O
282
+ O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O
283
+ O O O O O O B-PERSON O B-PERSON O O O O O O O O O
284
+ B-PERSON O O O O O O O B-PERSON I-PERSON O O O O O O O
285
+ O O O O O O O O O O O O O O O O O O O O O O O O O O
286
+ O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY I-QUANTITY O
287
+ O O O O O O O O O O O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O B-PERSON I-PERSON O O B-PERSON I-PERSON I-PERSON O O O O O O O O B-PERSON I-PERSON O
288
+ O O O O O O O O B-LOCATION I-LOCATION O O
289
+ O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O
290
+ O O O O O O B-ORGANIZATION O B-QUANTITY I-QUANTITY O O O O B-PERSON I-PERSON O O O B-PERSON I-PERSON O
291
+ B-PERSON O O O O O O O O O O O O O O O O O O O O O
292
+ O O B-ORGANIZATION I-ORGANIZATION O O O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O O O O O O O
293
+ O O O O O O O O O O O O O O B-TIME O O O O O B-TIME O
294
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
295
+ O O O O O O O O O O
296
+ O O O O O O O O O O O O O
297
+ O O O O O O O O
298
+ O O O O O O O O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O O B-PERSON O
299
+ O O O O O O O O O O O O O O O O
300
+ B-PERSON O O O O O O O O O O O O O O O O O O O
301
+ O O O O B-PERSON I-PERSON O O O O O O O
302
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
303
+ O O O O O O O O O O O O O O B-LOCATION I-LOCATION O
304
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O
305
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O B-TIME I-TIME I-TIME I-TIME I-TIME O
306
+ O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
307
+ O O B-PERSON O O O O O O O O O O B-LOCATION O B-LOCATION O O B-LOCATION O O O O B-LOCATION O O O O O O O O O
308
+ O O O O O O O O O O O O O O O O O O O O O O O O O O
309
+ O O O O O O O B-QUANTITY I-QUANTITY O
310
+ O O O O O O O B-PERSON O O O O O O O O O O O O
311
+ O O O O O O O O O O O O O O
312
+ O O O O O B-PERSON O O O O
313
+ O O B-LOCATION O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O B-LOCATION O B-LOCATION I-LOCATION O
314
+ O O O O O O O O O O
315
+ O O O O O O O O O O O O O O O O O
316
+ O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O O O O O O O O O O B-ORGANIZATION O
317
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME O O O O O O O O O O O O O O O O O O O O O O O O O
318
+ B-QUANTITY I-QUANTITY I-QUANTITY O O B-LOCATION I-LOCATION I-LOCATION O O O O O O O O O O O O O O O O O O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
319
+ B-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON I-PERSON O O O O O O B-LOCATION I-LOCATION O
320
+ O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O O O B-PERSON O O O O O O O O O
321
+ O O B-PERSON O B-PERSON O B-PERSON O O O O O O O O O O O O O
322
+ O O O O O O O O O O O O O O O O O O O O O O O O
323
+ O B-ORGANIZATION O O O O O O
324
+ O B-QUANTITY I-QUANTITY O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O O O O O O O O O O
325
+ O B-ORGANIZATION O O O O O O O O O O O O I-PERSON O O B-ORGANIZATION O B-TIME I-TIME I-TIME I-TIME I-TIME O
326
+ O O B-PERSON O O O O O O B-PERSON O
327
+ O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O
328
+ O O O O B-PERSON O O B-LOCATION O O O B-ORGANIZATION O B-ORGANIZATION B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O O
329
+ O O O O O O O O B-LOCATION O
330
+ B-QUANTITY I-QUANTITY O O O O O O O B-QUANTITY I-QUANTITY O O B-QUANTITY I-QUANTITY O B-TIME I-TIME O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O B-PERSON I-PERSON I-PERSON I-PERSON O
331
+ O B-PERSON O O O O O O O O O O O O O
332
+ O B-PERSON O B-PERSON I-PERSON I-PERSON O O O O O O O B-PERSON O
333
+ O O B-PERSON I-PERSON O B-PERSON O O O O O B-ORGANIZATION O O O O
334
+ O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O
335
+ O I-PERSON O O O B-PERSON O O O
336
+ O O O O O O O O O O O O O O
337
+ O O O O O O B-PERSON I-PERSON O O O O O B-PERSON I-PERSON O B-PERSON I-PERSON O B-PERSON I-PERSON I-PERSON O B-PERSON I-PERSON O
338
+ O O O O O O O O O O O O O O O O O O O O O O O O
339
+ O O O O O O O O O O O O O B-PERSON O
340
+ O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O O O
341
+ O O O O O O O O O O O O O O O O O O
342
+ O O O O B-ORGANIZATION O O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O
343
+ O O O O O O O O O O O O O O O O O O O O O O O O O
344
+ O O O O O O O O O O O O O O O O O O O O O
345
+ O O O O O O O O O O O O O O O O O O O O O B-PERSON O
346
+ O O O O O O O O O O O O
347
+ O O B-PERSON I-PERSON I-PERSON I-PERSON O O O O O O B-LOCATION O O O O O O O B-PERSON O
348
+ O O O O O O O O O O O O O O O O O O O O O
349
+ O O O O B-PERSON O O B-ORGANIZATION O O O O O O O O O O O
350
+ B-PERSON I-PERSON O O O O O O O O O B-LOCATION O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O
351
+ O O O O O O O O O
352
+ B-PERSON I-PERSON I-PERSON O O O B-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION O O O O O O O O O O O O O O
353
+ O O O O O O
354
+ O O O O O O O O O B-PERSON O B-ORGANIZATION O
355
+ B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O O
356
+ B-PERSON O O O O O O O O O O O O O
357
+ O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O O
358
+ O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O B-PERSON I-PERSON I-PERSON O O O O O O
359
+ O O B-LOCATION O O O O O O B-LOCATION O O O O B-PERSON O
360
+ O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O
361
+ O O O O O O O O O O O O B-PERSON O
362
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O O O O O B-LOCATION O B-TIME I-TIME I-TIME I-TIME O
363
+ O O O O B-PERSON O O O O O O O B-PERSON O O O
364
+ O O O O O O O O O O O B-LOCATION O O O O O O O O B-LOCATION O O O O B-LOCATION O B-LOCATION I-LOCATION O
365
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QUANTITY I-QUANTITY O O O O
366
+ O O O O O B-PERSON O O O O O O O O O O O O
367
+ O O O O O O O O O O O O O O O O O O O O O
368
+ O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON O O O O O O O O O
369
+ O O O O O O O O O O O O O
370
+ O O O O O O O O O O O O O O O O O O O O O
371
+ O O O O B-LOCATION O O O O O O O O O O
372
+ O O O O O O O
373
+ O O O O O O O O O B-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O O O
374
+ O B-PERSON O O O O O O O O O O B-PERSON I-PERSON O
375
+ O B-ORGANIZATION I-ORGANIZATION B-PERSON I-PERSON O O O O O B-PERSON O B-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION I-LOCATION O
376
+ O O O O O O O O O O O O
377
+ O O O O O O O O O B-LOCATION I-LOCATION I-LOCATION I-LOCATION O
378
+ O O O B-ORGANIZATION O O
379
+ O O O O O B-PERSON I-PERSON O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O
380
+ O B-TIME I-TIME I-TIME O O O O O O O O O O O O O O O O O O O O O O O
381
+ O O O O O O O O O O O O O O B-PERSON O O O O
382
+ O O O O O O O O O O O O O O B-LOCATION O
383
+ O O O O O O B-TIME I-TIME O O O O O O O
384
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O B-PERSON O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O
385
+ O O O O O O O B-ORGANIZATION O O O O O O O
386
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
387
+ O B-LOCATION O O O O O O O O B-TIME O O O O O O O O O O O B-LOCATION O B-LOCATION O B-LOCATION O B-LOCATION O
388
+ O O O O O O O O O O O
389
+ B-PERSON O O O O O O O O O O O O
390
+ O O O B-LOCATION O O O B-LOCATION I-LOCATION O O O O O O O
391
+ O O O O O O O O O O O O O O O O O O O O O O O
392
+ B-PERSON O O O O O O O O O O O O O O O
393
+ O O O O O O O O O O O O O O O O
394
+ O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O
395
+ B-PERSON O O O O O O O O B-PERSON I-PERSON O O O O O O O O
396
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O O O O O O
397
+ O O B-PERSON O O O O O
398
+ O O O O O O
399
+ O B-TIME O O B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O
400
+ O B-PERSON O O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O O O O
401
+ O O O O O O O O O O O O O
402
+ B-PERSON O O O O O O O O O O O O O O O O O O
403
+ O O O O O O O O O O B-PERSON O O O O O O O O O O O
404
+ O O O O O O O O O O O O O O O B-PERSON I-PERSON O O O O O O O O O
405
+ O O B-PERSON I-PERSON O O O B-ORGANIZATION I-ORGANIZATION O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
406
+ O O O O O O O O O O O O O O O O O O B-PERSON O
407
+ O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY O O O O O O O O O O O O O O O O
408
+ O O O O O O O O O O O O O B-LOCATION I-LOCATION O O O O O O O O O O O O O O O O O O
409
+ B-PERSON O O O O O O O O O
410
+ O O O O O B-ORGANIZATION O O O O O O O O O
411
+ O O O O O O O B-PERSON O O O O O O O O O O O O O O
412
+ O O O O O O O O O O O O O B-ORGANIZATION O
413
+ O O O O O O O O O O O O O O O O O O O O O O O O O B-PERSON O
414
+ O O O O O O B-ORGANIZATION O O O O
415
+ O O O O O O O O O O O O O B-LOCATION O O O O O O O O O O
416
+ B-PERSON O O O O O O B-ORGANIZATION O B-PERSON I-PERSON O O O O
417
+ O O B-ORGANIZATION O O O O O O
418
+ O O O
419
+ O O O O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-LOCATION O O O O O O O O O O
420
+ O B-LOCATION O O O B-LOCATION O O O O O O O O O
421
+ B-PERSON O B-PERSON O O B-PERSON O O O O O O O B-TIME O B-LOCATION I-LOCATION O
422
+ O O O O B-TIME I-TIME I-TIME O
423
+ O O O O O O O O O O O O O B-LOCATION O
424
+ O O O O O O O B-PERSON O
425
+ O O O O O O O B-PERSON O O O O O O O O O O O O O O O O O O O O O
426
+ O O O O O B-PERSON I-PERSON O O O O O O B-PERSON O O O B-PERSON O
427
+ O O O O O O O O O O O O O O O O O O O O O O O O O O
428
+ B-PERSON O O O O O O O O O O O O O O
429
+ O O O O B-ORGANIZATION O B-LOCATION O O O B-PERSON O O O O O O O
430
+ B-ORGANIZATION O O O O O O O O O O O O O O O O O O O O
431
+ O O O B-PERSON I-PERSON O O O B-ORGANIZATION B-LOCATION I-LOCATION O O O O O
432
+ O O B-LOCATION O O O B-LOCATION O O O O O O O O
433
+ O O O O O O O O O O O O
434
+ O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O B-PERSON I-PERSON I-PERSON O O O O O O O O O
435
+ O O O O O O O O O O O O O O O O O O O O O
436
+ B-PERSON O O O O O O O O O O O O O O O O O O O O O O O
437
+ O O O O O O O O O O O O O O
438
+ O O O O O O O O O O B-PERSON O O O O B-ORGANIZATION O
439
+ O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O B-TIME O
440
+ O B-LOCATION O O O B-PERSON O O O O O B-ORGANIZATION I-ORGANIZATION O
441
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
442
+ B-ORGANIZATION O O O O O O O O O O O O O O O O O
443
+ O O O B-PERSON O O O O O O O O O O
444
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
445
+ O O O O O O O O O O O O O
446
+ O O O O O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION O O O O O
447
+ O O O O O O O O O O O O O O O O O
448
+ O B-PERSON O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O
449
+ O O O B-LOCATION O O O O O O O O O O O O O O O O O O O O O
450
+ B-ORGANIZATION I-ORGANIZATION O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O O O O O O O O O O O O O
451
+ B-PERSON O O O O O O O O O O O O O O O O
452
+ O O O O O O O O O O O
453
+ O O O O O O O O O O O O O O O O O O O O O O O
454
+ O O O O O O O O O O O O O O O O O O O O O O O B-TIME O O O O B-TIME I-TIME O O O O O O O O O O O O O O
455
+ O O O O B-LOCATION O B-LOCATION O O O B-LOCATION B-TIME O O O O O O O O B-LOCATION O B-LOCATION O
456
+ O B-LOCATION O B-PERSON I-PERSON I-PERSON O O O O O O O B-LOCATION O B-TIME I-TIME O
457
+ B-ORGANIZATION O O O B-PERSON O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O O O O B-LOCATION O
458
+ O O O O O B-LOCATION O O O O O O O O O O O O O O O O O
459
+ O O O O O O O B-PERSON O O O B-LOCATION O O O B-PERSON O
460
+ B-TIME I-TIME O O O O O O O O O O O O O O O
461
+ O O O O B-QUANTITY I-QUANTITY O B-QUANTITY I-QUANTITY O
462
+ O O O O O O O O O O O O O O O O O O O O
463
+ B-PERSON O O O O O O O O O O O B-ORGANIZATION I-ORGANIZATION I-ORGANIZATION O
464
+ B-PERSON O O O O O O O O O B-ORGANIZATION O O O B-PERSON I-PERSON O
465
+ O O O B-PERSON I-PERSON I-PERSON O O O O O O O O O O O O O
466
+ O O O O O O O O O O O O B-LOCATION B-PERSON I-PERSON O O O O O O O O O O O O O O O O O O O O O O O O O
467
+ O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-ORGANIZATION O O
468
+ O O O O O O O O O O O O O B-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY I-QUANTITY O O O O B-LOCATION O O O B-LOCATION O O O O B-LOCATION I-LOCATION O
runs/May27_01-46-49_indolem-petl-vm/events.out.tfevents.1716774968.indolem-petl-vm.3234792.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6fb1edf9ec25bac3c0b751d073b04909a934139db8244764f97cead4218180ab
3
+ size 560
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 20.0,
3
+ "train_loss": 0.03541206091572091,
4
+ "train_runtime": 493.9256,
5
+ "train_samples": 1687,
6
+ "train_samples_per_second": 68.31,
7
+ "train_steps_per_second": 4.292
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,410 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 20.0,
5
+ "eval_steps": 500,
6
+ "global_step": 2120,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 1.0,
13
+ "grad_norm": 2.7167601585388184,
14
+ "learning_rate": 4.75e-05,
15
+ "loss": 0.3551,
16
+ "step": 106
17
+ },
18
+ {
19
+ "epoch": 1.0,
20
+ "eval_accuracy": 0.9413572343149808,
21
+ "eval_f1": 0.764857881136951,
22
+ "eval_loss": 0.18727199733257294,
23
+ "eval_precision": 0.6788990825688074,
24
+ "eval_recall": 0.8757396449704142,
25
+ "eval_runtime": 0.7255,
26
+ "eval_samples_per_second": 257.747,
27
+ "eval_steps_per_second": 4.135,
28
+ "step": 106
29
+ },
30
+ {
31
+ "epoch": 2.0,
32
+ "grad_norm": 0.8801630139350891,
33
+ "learning_rate": 4.5e-05,
34
+ "loss": 0.1199,
35
+ "step": 212
36
+ },
37
+ {
38
+ "epoch": 2.0,
39
+ "eval_accuracy": 0.9610755441741358,
40
+ "eval_f1": 0.8164383561643835,
41
+ "eval_loss": 0.1307690292596817,
42
+ "eval_precision": 0.7602040816326531,
43
+ "eval_recall": 0.8816568047337278,
44
+ "eval_runtime": 0.6806,
45
+ "eval_samples_per_second": 274.744,
46
+ "eval_steps_per_second": 4.408,
47
+ "step": 212
48
+ },
49
+ {
50
+ "epoch": 3.0,
51
+ "grad_norm": 6.373292922973633,
52
+ "learning_rate": 4.25e-05,
53
+ "loss": 0.0746,
54
+ "step": 318
55
+ },
56
+ {
57
+ "epoch": 3.0,
58
+ "eval_accuracy": 0.9618437900128041,
59
+ "eval_f1": 0.8238557558945908,
60
+ "eval_loss": 0.13828597962856293,
61
+ "eval_precision": 0.7754569190600522,
62
+ "eval_recall": 0.878698224852071,
63
+ "eval_runtime": 0.6892,
64
+ "eval_samples_per_second": 271.342,
65
+ "eval_steps_per_second": 4.353,
66
+ "step": 318
67
+ },
68
+ {
69
+ "epoch": 4.0,
70
+ "grad_norm": 1.9436761140823364,
71
+ "learning_rate": 4e-05,
72
+ "loss": 0.0497,
73
+ "step": 424
74
+ },
75
+ {
76
+ "epoch": 4.0,
77
+ "eval_accuracy": 0.9554417413572344,
78
+ "eval_f1": 0.8183118741058654,
79
+ "eval_loss": 0.17165431380271912,
80
+ "eval_precision": 0.7922437673130194,
81
+ "eval_recall": 0.8461538461538461,
82
+ "eval_runtime": 0.7007,
83
+ "eval_samples_per_second": 266.88,
84
+ "eval_steps_per_second": 4.281,
85
+ "step": 424
86
+ },
87
+ {
88
+ "epoch": 5.0,
89
+ "grad_norm": 0.7730250954627991,
90
+ "learning_rate": 3.7500000000000003e-05,
91
+ "loss": 0.0289,
92
+ "step": 530
93
+ },
94
+ {
95
+ "epoch": 5.0,
96
+ "eval_accuracy": 0.9620998719590269,
97
+ "eval_f1": 0.8389830508474576,
98
+ "eval_loss": 0.17060597240924835,
99
+ "eval_precision": 0.8027027027027027,
100
+ "eval_recall": 0.878698224852071,
101
+ "eval_runtime": 0.7043,
102
+ "eval_samples_per_second": 265.498,
103
+ "eval_steps_per_second": 4.259,
104
+ "step": 530
105
+ },
106
+ {
107
+ "epoch": 6.0,
108
+ "grad_norm": 1.2929595708847046,
109
+ "learning_rate": 3.5e-05,
110
+ "loss": 0.023,
111
+ "step": 636
112
+ },
113
+ {
114
+ "epoch": 6.0,
115
+ "eval_accuracy": 0.9585147247119078,
116
+ "eval_f1": 0.8188105117565698,
117
+ "eval_loss": 0.19288022816181183,
118
+ "eval_precision": 0.7688311688311689,
119
+ "eval_recall": 0.8757396449704142,
120
+ "eval_runtime": 0.7437,
121
+ "eval_samples_per_second": 251.457,
122
+ "eval_steps_per_second": 4.034,
123
+ "step": 636
124
+ },
125
+ {
126
+ "epoch": 7.0,
127
+ "grad_norm": 0.03867774084210396,
128
+ "learning_rate": 3.2500000000000004e-05,
129
+ "loss": 0.0161,
130
+ "step": 742
131
+ },
132
+ {
133
+ "epoch": 7.0,
134
+ "eval_accuracy": 0.9539052496798975,
135
+ "eval_f1": 0.82336578581363,
136
+ "eval_loss": 0.24569807946681976,
137
+ "eval_precision": 0.7769028871391076,
138
+ "eval_recall": 0.8757396449704142,
139
+ "eval_runtime": 0.7594,
140
+ "eval_samples_per_second": 246.235,
141
+ "eval_steps_per_second": 3.95,
142
+ "step": 742
143
+ },
144
+ {
145
+ "epoch": 8.0,
146
+ "grad_norm": 0.1270778626203537,
147
+ "learning_rate": 3e-05,
148
+ "loss": 0.0106,
149
+ "step": 848
150
+ },
151
+ {
152
+ "epoch": 8.0,
153
+ "eval_accuracy": 0.9572343149807938,
154
+ "eval_f1": 0.8347338935574229,
155
+ "eval_loss": 0.24495673179626465,
156
+ "eval_precision": 0.7925531914893617,
157
+ "eval_recall": 0.8816568047337278,
158
+ "eval_runtime": 0.7817,
159
+ "eval_samples_per_second": 239.211,
160
+ "eval_steps_per_second": 3.838,
161
+ "step": 848
162
+ },
163
+ {
164
+ "epoch": 9.0,
165
+ "grad_norm": 1.8804335594177246,
166
+ "learning_rate": 2.7500000000000004e-05,
167
+ "loss": 0.0065,
168
+ "step": 954
169
+ },
170
+ {
171
+ "epoch": 9.0,
172
+ "eval_accuracy": 0.9628681177976952,
173
+ "eval_f1": 0.8551336146272854,
174
+ "eval_loss": 0.23150116205215454,
175
+ "eval_precision": 0.8150134048257373,
176
+ "eval_recall": 0.8994082840236687,
177
+ "eval_runtime": 0.8068,
178
+ "eval_samples_per_second": 231.794,
179
+ "eval_steps_per_second": 3.719,
180
+ "step": 954
181
+ },
182
+ {
183
+ "epoch": 10.0,
184
+ "grad_norm": 2.087066888809204,
185
+ "learning_rate": 2.5e-05,
186
+ "loss": 0.0053,
187
+ "step": 1060
188
+ },
189
+ {
190
+ "epoch": 10.0,
191
+ "eval_accuracy": 0.9626120358514725,
192
+ "eval_f1": 0.84822695035461,
193
+ "eval_loss": 0.2372884303331375,
194
+ "eval_precision": 0.8147138964577657,
195
+ "eval_recall": 0.8846153846153846,
196
+ "eval_runtime": 0.7914,
197
+ "eval_samples_per_second": 236.29,
198
+ "eval_steps_per_second": 3.791,
199
+ "step": 1060
200
+ },
201
+ {
202
+ "epoch": 11.0,
203
+ "grad_norm": 0.011662549339234829,
204
+ "learning_rate": 2.25e-05,
205
+ "loss": 0.004,
206
+ "step": 1166
207
+ },
208
+ {
209
+ "epoch": 11.0,
210
+ "eval_accuracy": 0.9638924455825865,
211
+ "eval_f1": 0.855507868383405,
212
+ "eval_loss": 0.2421087622642517,
213
+ "eval_precision": 0.8282548476454293,
214
+ "eval_recall": 0.8846153846153846,
215
+ "eval_runtime": 0.8007,
216
+ "eval_samples_per_second": 233.559,
217
+ "eval_steps_per_second": 3.747,
218
+ "step": 1166
219
+ },
220
+ {
221
+ "epoch": 12.0,
222
+ "grad_norm": 0.012989125214517117,
223
+ "learning_rate": 2e-05,
224
+ "loss": 0.003,
225
+ "step": 1272
226
+ },
227
+ {
228
+ "epoch": 12.0,
229
+ "eval_accuracy": 0.9620998719590269,
230
+ "eval_f1": 0.8499298737727911,
231
+ "eval_loss": 0.25717440247535706,
232
+ "eval_precision": 0.808,
233
+ "eval_recall": 0.8964497041420119,
234
+ "eval_runtime": 0.7997,
235
+ "eval_samples_per_second": 233.831,
236
+ "eval_steps_per_second": 3.751,
237
+ "step": 1272
238
+ },
239
+ {
240
+ "epoch": 13.0,
241
+ "grad_norm": 0.0042635309509932995,
242
+ "learning_rate": 1.75e-05,
243
+ "loss": 0.0027,
244
+ "step": 1378
245
+ },
246
+ {
247
+ "epoch": 13.0,
248
+ "eval_accuracy": 0.9615877080665813,
249
+ "eval_f1": 0.8502824858757062,
250
+ "eval_loss": 0.2515665292739868,
251
+ "eval_precision": 0.8135135135135135,
252
+ "eval_recall": 0.8905325443786982,
253
+ "eval_runtime": 0.8271,
254
+ "eval_samples_per_second": 226.082,
255
+ "eval_steps_per_second": 3.627,
256
+ "step": 1378
257
+ },
258
+ {
259
+ "epoch": 14.0,
260
+ "grad_norm": 0.009077166207134724,
261
+ "learning_rate": 1.5e-05,
262
+ "loss": 0.0012,
263
+ "step": 1484
264
+ },
265
+ {
266
+ "epoch": 14.0,
267
+ "eval_accuracy": 0.9649167733674776,
268
+ "eval_f1": 0.8523206751054854,
269
+ "eval_loss": 0.26363739371299744,
270
+ "eval_precision": 0.8123324396782842,
271
+ "eval_recall": 0.8964497041420119,
272
+ "eval_runtime": 0.8031,
273
+ "eval_samples_per_second": 232.86,
274
+ "eval_steps_per_second": 3.736,
275
+ "step": 1484
276
+ },
277
+ {
278
+ "epoch": 15.0,
279
+ "grad_norm": 0.011607971042394638,
280
+ "learning_rate": 1.25e-05,
281
+ "loss": 0.002,
282
+ "step": 1590
283
+ },
284
+ {
285
+ "epoch": 15.0,
286
+ "eval_accuracy": 0.9626120358514725,
287
+ "eval_f1": 0.847887323943662,
288
+ "eval_loss": 0.26717498898506165,
289
+ "eval_precision": 0.8091397849462365,
290
+ "eval_recall": 0.8905325443786982,
291
+ "eval_runtime": 0.8047,
292
+ "eval_samples_per_second": 232.386,
293
+ "eval_steps_per_second": 3.728,
294
+ "step": 1590
295
+ },
296
+ {
297
+ "epoch": 16.0,
298
+ "grad_norm": 12.164788246154785,
299
+ "learning_rate": 1e-05,
300
+ "loss": 0.0012,
301
+ "step": 1696
302
+ },
303
+ {
304
+ "epoch": 16.0,
305
+ "eval_accuracy": 0.9633802816901409,
306
+ "eval_f1": 0.8486562942008485,
307
+ "eval_loss": 0.26104938983917236,
308
+ "eval_precision": 0.8130081300813008,
309
+ "eval_recall": 0.8875739644970414,
310
+ "eval_runtime": 0.8077,
311
+ "eval_samples_per_second": 231.527,
312
+ "eval_steps_per_second": 3.714,
313
+ "step": 1696
314
+ },
315
+ {
316
+ "epoch": 17.0,
317
+ "grad_norm": 0.011607704684138298,
318
+ "learning_rate": 7.5e-06,
319
+ "loss": 0.001,
320
+ "step": 1802
321
+ },
322
+ {
323
+ "epoch": 17.0,
324
+ "eval_accuracy": 0.963124199743918,
325
+ "eval_f1": 0.8579545454545454,
326
+ "eval_loss": 0.2693929374217987,
327
+ "eval_precision": 0.825136612021858,
328
+ "eval_recall": 0.893491124260355,
329
+ "eval_runtime": 0.8045,
330
+ "eval_samples_per_second": 232.444,
331
+ "eval_steps_per_second": 3.729,
332
+ "step": 1802
333
+ },
334
+ {
335
+ "epoch": 18.0,
336
+ "grad_norm": 0.006694562267512083,
337
+ "learning_rate": 5e-06,
338
+ "loss": 0.0012,
339
+ "step": 1908
340
+ },
341
+ {
342
+ "epoch": 18.0,
343
+ "eval_accuracy": 0.9626120358514725,
344
+ "eval_f1": 0.8579465541490858,
345
+ "eval_loss": 0.2814978361129761,
346
+ "eval_precision": 0.8176943699731903,
347
+ "eval_recall": 0.9023668639053254,
348
+ "eval_runtime": 0.8078,
349
+ "eval_samples_per_second": 231.481,
350
+ "eval_steps_per_second": 3.714,
351
+ "step": 1908
352
+ },
353
+ {
354
+ "epoch": 19.0,
355
+ "grad_norm": 0.025878561660647392,
356
+ "learning_rate": 2.5e-06,
357
+ "loss": 0.0012,
358
+ "step": 2014
359
+ },
360
+ {
361
+ "epoch": 19.0,
362
+ "eval_accuracy": 0.9628681177976952,
363
+ "eval_f1": 0.8567375886524823,
364
+ "eval_loss": 0.2722916901111603,
365
+ "eval_precision": 0.8228882833787466,
366
+ "eval_recall": 0.893491124260355,
367
+ "eval_runtime": 0.8081,
368
+ "eval_samples_per_second": 231.404,
369
+ "eval_steps_per_second": 3.712,
370
+ "step": 2014
371
+ },
372
+ {
373
+ "epoch": 20.0,
374
+ "grad_norm": 0.002320911968126893,
375
+ "learning_rate": 0.0,
376
+ "loss": 0.0008,
377
+ "step": 2120
378
+ },
379
+ {
380
+ "epoch": 20.0,
381
+ "eval_accuracy": 0.963124199743918,
382
+ "eval_f1": 0.8583569405099151,
383
+ "eval_loss": 0.2749256491661072,
384
+ "eval_precision": 0.8233695652173914,
385
+ "eval_recall": 0.8964497041420119,
386
+ "eval_runtime": 0.8093,
387
+ "eval_samples_per_second": 231.054,
388
+ "eval_steps_per_second": 3.707,
389
+ "step": 2120
390
+ },
391
+ {
392
+ "epoch": 20.0,
393
+ "step": 2120,
394
+ "total_flos": 896507603456604.0,
395
+ "train_loss": 0.03541206091572091,
396
+ "train_runtime": 493.9256,
397
+ "train_samples_per_second": 68.31,
398
+ "train_steps_per_second": 4.292
399
+ }
400
+ ],
401
+ "logging_steps": 500,
402
+ "max_steps": 2120,
403
+ "num_input_tokens_seen": 0,
404
+ "num_train_epochs": 20,
405
+ "save_steps": 500,
406
+ "total_flos": 896507603456604.0,
407
+ "train_batch_size": 16,
408
+ "trial_name": null,
409
+ "trial_params": null
410
+ }