roberta-large-ner-ghtk-csnew-data-3090-11Aug-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4615
• cmt: {'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}
• Tk: {'precision': 0.6160714285714286, 'recall': 0.5948275862068966, 'f1': 0.6052631578947368, 'number': 116}
• A: {'precision': 0.963855421686747, 'recall': 0.9569377990430622, 'f1': 0.9603841536614646, 'number': 418}
• Gày: {'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}
• Gày trừu tượng: {'precision': 0.9014989293361885, 'recall': 0.9014989293361885, 'f1': 0.9014989293361885, 'number': 467}
• Gân hàng: {'precision': 0.8205128205128205, 'recall': 0.9142857142857143, 'f1': 0.8648648648648648, 'number': 35}
• Hương thức thanh toán: {'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}
• Hối lượng: {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 12}
• Iền: {'precision': 0.75, 'recall': 0.8461538461538461, 'f1': 0.7951807228915662, 'number': 39}
• Iờ: {'precision': 0.7352941176470589, 'recall': 0.6578947368421053, 'f1': 0.6944444444444445, 'number': 38}
• Mail: {'precision': 0.893687707641196, 'recall': 0.9149659863945578, 'f1': 0.9042016806722689, 'number': 294}
• Ã đơn: {'precision': 0.8115942028985508, 'recall': 0.8442211055276382, 'f1': 0.8275862068965517, 'number': 199}
• Ên người: {'precision': 0.6896551724137931, 'recall': 0.6666666666666666, 'f1': 0.6779661016949153, 'number': 30}
• Đt: {'precision': 0.894572025052192, 'recall': 0.9760820045558086, 'f1': 0.9335511982570807, 'number': 878}
• Đt trừu tượng: {'precision': 0.8135593220338984, 'recall': 0.897196261682243, 'f1': 0.8533333333333333, 'number': 214}
• Ơn vị đo: {'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8348623853211009, 'recall': 0.7222222222222222, 'f1': 0.774468085106383, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.6739130434782609, 'recall': 0.7560975609756098, 'f1': 0.7126436781609194, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.55, 'recall': 0.44, 'f1': 0.48888888888888893, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.75, 'recall': 0.68, 'f1': 0.7132867132867132, 'number': 75}
• Overall Precision: 0.8581
• Overall Recall: 0.8795
• Overall F1: 0.8687
• Overall Accuracy: 0.9446

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.4028	1.0	735	0.3076	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 1.0, 'recall': 0.06896551724137931, 'f1': 0.12903225806451613, 'number': 116}	{'precision': 0.9556650246305419, 'recall': 0.9282296650717703, 'f1': 0.9417475728155339, 'number': 418}	{'precision': 0.6875, 'recall': 0.3333333333333333, 'f1': 0.4489795918367347, 'number': 33}	{'precision': 0.8886198547215496, 'recall': 0.7858672376873662, 'f1': 0.8340909090909092, 'number': 467}	{'precision': 0.5, 'recall': 0.02857142857142857, 'f1': 0.05405405405405405, 'number': 35}	{'precision': 0.8636363636363636, 'recall': 0.6333333333333333, 'f1': 0.7307692307692307, 'number': 30}	{'precision': 0.4090909090909091, 'recall': 0.75, 'f1': 0.5294117647058824, 'number': 12}	{'precision': 0.5333333333333333, 'recall': 0.8205128205128205, 'f1': 0.6464646464646464, 'number': 39}	{'precision': 0.5555555555555556, 'recall': 0.7894736842105263, 'f1': 0.6521739130434783, 'number': 38}	{'precision': 0.8660714285714286, 'recall': 0.9897959183673469, 'f1': 0.9238095238095239, 'number': 294}	{'precision': 0.7253218884120172, 'recall': 0.8492462311557789, 'f1': 0.7824074074074074, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.6895193065405831, 'recall': 0.9965831435079726, 'f1': 0.8150908244061481, 'number': 878}	{'precision': 0.9041095890410958, 'recall': 0.616822429906542, 'f1': 0.7333333333333333, 'number': 214}	{'precision': 0.4782608695652174, 'recall': 0.39285714285714285, 'f1': 0.4313725490196078, 'number': 28}	{'precision': 0.8666666666666667, 'recall': 0.30952380952380953, 'f1': 0.45614035087719296, 'number': 126}	{'precision': 0.5333333333333333, 'recall': 0.3902439024390244, 'f1': 0.4507042253521127, 'number': 41}	{'precision': 0.08695652173913043, 'recall': 0.02666666666666667, 'f1': 0.04081632653061224, 'number': 75}	{'precision': 0.7857142857142857, 'recall': 0.44, 'f1': 0.5641025641025641, 'number': 75}	0.7724	0.7694	0.7709	0.9022
0.2221	2.0	1470	0.2893	{'precision': 0.4666666666666667, 'recall': 0.5, 'f1': 0.4827586206896552, 'number': 14}	{'precision': 0.43333333333333335, 'recall': 0.11206896551724138, 'f1': 0.17808219178082194, 'number': 116}	{'precision': 0.9048672566371682, 'recall': 0.9784688995215312, 'f1': 0.9402298850574713, 'number': 418}	{'precision': 0.6, 'recall': 0.7272727272727273, 'f1': 0.6575342465753425, 'number': 33}	{'precision': 0.8370672097759674, 'recall': 0.880085653104925, 'f1': 0.8580375782881001, 'number': 467}	{'precision': 0.7714285714285715, 'recall': 0.7714285714285715, 'f1': 0.7714285714285715, 'number': 35}	{'precision': 0.7931034482758621, 'recall': 0.7666666666666667, 'f1': 0.7796610169491527, 'number': 30}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.4411764705882353, 'recall': 0.38461538461538464, 'f1': 0.4109589041095891, 'number': 39}	{'precision': 0.5245901639344263, 'recall': 0.8421052631578947, 'f1': 0.6464646464646464, 'number': 38}	{'precision': 0.9210526315789473, 'recall': 0.8333333333333334, 'f1': 0.875, 'number': 294}	{'precision': 0.5425219941348973, 'recall': 0.9296482412060302, 'f1': 0.6851851851851852, 'number': 199}	{'precision': 0.5, 'recall': 0.03333333333333333, 'f1': 0.0625, 'number': 30}	{'precision': 0.7677935943060499, 'recall': 0.9829157175398633, 'f1': 0.8621378621378621, 'number': 878}	{'precision': 0.7538461538461538, 'recall': 0.9158878504672897, 'f1': 0.8270042194092827, 'number': 214}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 28}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 126}	{'precision': 0.65, 'recall': 0.3170731707317073, 'f1': 0.42622950819672134, 'number': 41}	{'precision': 0.16363636363636364, 'recall': 0.12, 'f1': 0.13846153846153847, 'number': 75}	{'precision': 0.8627450980392157, 'recall': 0.5866666666666667, 'f1': 0.6984126984126984, 'number': 75}	0.7609	0.7960	0.7781	0.9013
0.1454	3.0	2205	0.2297	{'precision': 0.4444444444444444, 'recall': 0.5714285714285714, 'f1': 0.5, 'number': 14}	{'precision': 0.5185185185185185, 'recall': 0.2413793103448276, 'f1': 0.32941176470588235, 'number': 116}	{'precision': 0.9137168141592921, 'recall': 0.9880382775119617, 'f1': 0.9494252873563219, 'number': 418}	{'precision': 0.5192307692307693, 'recall': 0.8181818181818182, 'f1': 0.6352941176470589, 'number': 33}	{'precision': 0.8538622129436325, 'recall': 0.8758029978586723, 'f1': 0.8646934460887948, 'number': 467}	{'precision': 0.6774193548387096, 'recall': 0.6, 'f1': 0.6363636363636364, 'number': 35}	{'precision': 0.8275862068965517, 'recall': 0.8, 'f1': 0.8135593220338982, 'number': 30}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.45454545454545453, 'recall': 0.1282051282051282, 'f1': 0.19999999999999996, 'number': 39}	{'precision': 0.7894736842105263, 'recall': 0.39473684210526316, 'f1': 0.5263157894736843, 'number': 38}	{'precision': 0.8712574850299402, 'recall': 0.9897959183673469, 'f1': 0.9267515923566879, 'number': 294}	{'precision': 0.7589285714285714, 'recall': 0.8542713567839196, 'f1': 0.8037825059101654, 'number': 199}	{'precision': 0.5238095238095238, 'recall': 0.36666666666666664, 'f1': 0.4313725490196078, 'number': 30}	{'precision': 0.8370514064015518, 'recall': 0.9829157175398633, 'f1': 0.9041382922996333, 'number': 878}	{'precision': 0.7682403433476395, 'recall': 0.8364485981308412, 'f1': 0.8008948545861297, 'number': 214}	{'precision': 0.7058823529411765, 'recall': 0.42857142857142855, 'f1': 0.5333333333333333, 'number': 28}	{'precision': 0.8289473684210527, 'recall': 0.5, 'f1': 0.6237623762376238, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.3170731707317073, 'f1': 0.43333333333333335, 'number': 41}	{'precision': 0.4067796610169492, 'recall': 0.32, 'f1': 0.3582089552238806, 'number': 75}	{'precision': 0.8367346938775511, 'recall': 0.5466666666666666, 'f1': 0.6612903225806451, 'number': 75}	0.8155	0.8276	0.8215	0.9241
0.1251	4.0	2940	0.2500	{'precision': 0.6, 'recall': 0.6428571428571429, 'f1': 0.6206896551724138, 'number': 14}	{'precision': 0.5694444444444444, 'recall': 0.35344827586206895, 'f1': 0.43617021276595747, 'number': 116}	{'precision': 0.9715762273901809, 'recall': 0.8995215311004785, 'f1': 0.9341614906832298, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.9133333333333333, 'recall': 0.880085653104925, 'f1': 0.8964013086150491, 'number': 467}	{'precision': 0.8484848484848485, 'recall': 0.8, 'f1': 0.823529411764706, 'number': 35}	{'precision': 0.9032258064516129, 'recall': 0.9333333333333333, 'f1': 0.9180327868852459, 'number': 30}	{'precision': 0.5, 'recall': 0.16666666666666666, 'f1': 0.25, 'number': 12}	{'precision': 0.6458333333333334, 'recall': 0.7948717948717948, 'f1': 0.7126436781609194, 'number': 39}	{'precision': 0.5714285714285714, 'recall': 0.631578947368421, 'f1': 0.6, 'number': 38}	{'precision': 0.8930817610062893, 'recall': 0.9659863945578231, 'f1': 0.9281045751633986, 'number': 294}	{'precision': 0.5634674922600619, 'recall': 0.914572864321608, 'f1': 0.6973180076628351, 'number': 199}	{'precision': 0.5652173913043478, 'recall': 0.43333333333333335, 'f1': 0.49056603773584906, 'number': 30}	{'precision': 0.9017467248908297, 'recall': 0.9407744874715261, 'f1': 0.9208472686733556, 'number': 878}	{'precision': 0.7927927927927928, 'recall': 0.822429906542056, 'f1': 0.8073394495412843, 'number': 214}	{'precision': 0.59375, 'recall': 0.6785714285714286, 'f1': 0.6333333333333334, 'number': 28}	{'precision': 0.875, 'recall': 0.3888888888888889, 'f1': 0.5384615384615385, 'number': 126}	{'precision': 0.7, 'recall': 0.5121951219512195, 'f1': 0.5915492957746479, 'number': 41}	{'precision': 0.38095238095238093, 'recall': 0.21333333333333335, 'f1': 0.2735042735042735, 'number': 75}	{'precision': 0.7014925373134329, 'recall': 0.6266666666666667, 'f1': 0.6619718309859156, 'number': 75}	0.8280	0.8254	0.8267	0.9165
0.0901	5.0	3675	0.2199	{'precision': 0.6875, 'recall': 0.7857142857142857, 'f1': 0.7333333333333334, 'number': 14}	{'precision': 0.6384615384615384, 'recall': 0.7155172413793104, 'f1': 0.6747967479674797, 'number': 116}	{'precision': 0.9611650485436893, 'recall': 0.9473684210526315, 'f1': 0.9542168674698795, 'number': 418}	{'precision': 0.6190476190476191, 'recall': 0.7878787878787878, 'f1': 0.6933333333333334, 'number': 33}	{'precision': 0.8941684665226782, 'recall': 0.8865096359743041, 'f1': 0.8903225806451612, 'number': 467}	{'precision': 0.7777777777777778, 'recall': 0.8, 'f1': 0.7887323943661971, 'number': 35}	{'precision': 0.8275862068965517, 'recall': 0.8, 'f1': 0.8135593220338982, 'number': 30}	{'precision': 0.4375, 'recall': 0.5833333333333334, 'f1': 0.5, 'number': 12}	{'precision': 0.68, 'recall': 0.8717948717948718, 'f1': 0.7640449438202247, 'number': 39}	{'precision': 0.5964912280701754, 'recall': 0.8947368421052632, 'f1': 0.7157894736842105, 'number': 38}	{'precision': 0.8851963746223565, 'recall': 0.9965986394557823, 'f1': 0.9376, 'number': 294}	{'precision': 0.8020833333333334, 'recall': 0.7738693467336684, 'f1': 0.7877237851662404, 'number': 199}	{'precision': 0.5151515151515151, 'recall': 0.5666666666666667, 'f1': 0.5396825396825397, 'number': 30}	{'precision': 0.8775510204081632, 'recall': 0.979498861047836, 'f1': 0.9257265877287405, 'number': 878}	{'precision': 0.8590308370044053, 'recall': 0.9112149532710281, 'f1': 0.8843537414965986, 'number': 214}	{'precision': 0.5, 'recall': 0.42857142857142855, 'f1': 0.4615384615384615, 'number': 28}	{'precision': 0.8481012658227848, 'recall': 0.5317460317460317, 'f1': 0.6536585365853659, 'number': 126}	{'precision': 0.7714285714285715, 'recall': 0.6585365853658537, 'f1': 0.7105263157894737, 'number': 41}	{'precision': 0.3333333333333333, 'recall': 0.22666666666666666, 'f1': 0.2698412698412698, 'number': 75}	{'precision': 0.8571428571428571, 'recall': 0.64, 'f1': 0.732824427480916, 'number': 75}	0.8429	0.8688	0.8556	0.9383
0.0744	6.0	4410	0.2571	{'precision': 0.6842105263157895, 'recall': 0.9285714285714286, 'f1': 0.7878787878787878, 'number': 14}	{'precision': 0.6451612903225806, 'recall': 0.6896551724137931, 'f1': 0.6666666666666667, 'number': 116}	{'precision': 0.9414519906323185, 'recall': 0.9617224880382775, 'f1': 0.9514792899408285, 'number': 418}	{'precision': 0.6363636363636364, 'recall': 0.8484848484848485, 'f1': 0.7272727272727273, 'number': 33}	{'precision': 0.8872651356993737, 'recall': 0.9100642398286938, 'f1': 0.8985200845665962, 'number': 467}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 35}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.3333333333333333, 'f1': 0.4444444444444444, 'number': 12}	{'precision': 0.6206896551724138, 'recall': 0.9230769230769231, 'f1': 0.7422680412371133, 'number': 39}	{'precision': 0.5681818181818182, 'recall': 0.6578947368421053, 'f1': 0.6097560975609756, 'number': 38}	{'precision': 0.8855421686746988, 'recall': 1.0, 'f1': 0.9392971246006391, 'number': 294}	{'precision': 0.7864077669902912, 'recall': 0.8140703517587939, 'f1': 0.8, 'number': 199}	{'precision': 0.6428571428571429, 'recall': 0.6, 'f1': 0.6206896551724138, 'number': 30}	{'precision': 0.8699596774193549, 'recall': 0.9829157175398633, 'f1': 0.9229946524064171, 'number': 878}	{'precision': 0.8189655172413793, 'recall': 0.8878504672897196, 'f1': 0.8520179372197308, 'number': 214}	{'precision': 0.6774193548387096, 'recall': 0.75, 'f1': 0.7118644067796611, 'number': 28}	{'precision': 0.813953488372093, 'recall': 0.5555555555555556, 'f1': 0.6603773584905661, 'number': 126}	{'precision': 0.75, 'recall': 0.7317073170731707, 'f1': 0.7407407407407408, 'number': 41}	{'precision': 0.39344262295081966, 'recall': 0.32, 'f1': 0.3529411764705882, 'number': 75}	{'precision': 0.7777777777777778, 'recall': 0.6533333333333333, 'f1': 0.7101449275362319, 'number': 75}	0.8339	0.8811	0.8568	0.9394
0.0523	7.0	5145	0.2945	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.5875706214689266, 'recall': 0.896551724137931, 'f1': 0.7098976109215017, 'number': 116}	{'precision': 0.9542168674698795, 'recall': 0.9473684210526315, 'f1': 0.9507803121248499, 'number': 418}	{'precision': 0.65, 'recall': 0.7878787878787878, 'f1': 0.7123287671232875, 'number': 33}	{'precision': 0.9144736842105263, 'recall': 0.892933618843683, 'f1': 0.9035752979414952, 'number': 467}	{'precision': 0.7619047619047619, 'recall': 0.9142857142857143, 'f1': 0.8311688311688312, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.47619047619047616, 'recall': 0.8333333333333334, 'f1': 0.6060606060606061, 'number': 12}	{'precision': 0.723404255319149, 'recall': 0.8717948717948718, 'f1': 0.7906976744186047, 'number': 39}	{'precision': 0.6341463414634146, 'recall': 0.6842105263157895, 'f1': 0.6582278481012659, 'number': 38}	{'precision': 0.966789667896679, 'recall': 0.891156462585034, 'f1': 0.927433628318584, 'number': 294}	{'precision': 0.7142857142857143, 'recall': 0.9296482412060302, 'f1': 0.8078602620087336, 'number': 199}	{'precision': 0.5581395348837209, 'recall': 0.8, 'f1': 0.6575342465753425, 'number': 30}	{'precision': 0.8802889576883385, 'recall': 0.9715261958997722, 'f1': 0.9236599891716296, 'number': 878}	{'precision': 0.8969072164948454, 'recall': 0.8130841121495327, 'f1': 0.8529411764705883, 'number': 214}	{'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 28}	{'precision': 0.822429906542056, 'recall': 0.6984126984126984, 'f1': 0.7553648068669528, 'number': 126}	{'precision': 0.6078431372549019, 'recall': 0.7560975609756098, 'f1': 0.6739130434782609, 'number': 41}	{'precision': 0.4918032786885246, 'recall': 0.4, 'f1': 0.4411764705882353, 'number': 75}	{'precision': 0.7647058823529411, 'recall': 0.6933333333333334, 'f1': 0.7272727272727272, 'number': 75}	0.8413	0.8884	0.8642	0.9384
0.0407	8.0	5880	0.2964	{'precision': 0.8333333333333334, 'recall': 0.7142857142857143, 'f1': 0.7692307692307692, 'number': 14}	{'precision': 0.6752136752136753, 'recall': 0.6810344827586207, 'f1': 0.6781115879828326, 'number': 116}	{'precision': 0.9592326139088729, 'recall': 0.9569377990430622, 'f1': 0.9580838323353293, 'number': 418}	{'precision': 0.5510204081632653, 'recall': 0.8181818181818182, 'f1': 0.6585365853658536, 'number': 33}	{'precision': 0.9004329004329005, 'recall': 0.8907922912205567, 'f1': 0.8955866523143164, 'number': 467}	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 35}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.72, 'recall': 0.9230769230769231, 'f1': 0.8089887640449438, 'number': 39}	{'precision': 0.673469387755102, 'recall': 0.868421052631579, 'f1': 0.7586206896551724, 'number': 38}	{'precision': 0.9225589225589226, 'recall': 0.9319727891156463, 'f1': 0.9272419627749577, 'number': 294}	{'precision': 0.8109452736318408, 'recall': 0.8190954773869347, 'f1': 0.815, 'number': 199}	{'precision': 0.6551724137931034, 'recall': 0.6333333333333333, 'f1': 0.6440677966101694, 'number': 30}	{'precision': 0.8774062816616008, 'recall': 0.9863325740318907, 'f1': 0.928686327077748, 'number': 878}	{'precision': 0.8064516129032258, 'recall': 0.9345794392523364, 'f1': 0.8658008658008658, 'number': 214}	{'precision': 0.7419354838709677, 'recall': 0.8214285714285714, 'f1': 0.7796610169491526, 'number': 28}	{'precision': 0.8173076923076923, 'recall': 0.6746031746031746, 'f1': 0.7391304347826088, 'number': 126}	{'precision': 0.717948717948718, 'recall': 0.6829268292682927, 'f1': 0.7000000000000001, 'number': 41}	{'precision': 0.5344827586206896, 'recall': 0.41333333333333333, 'f1': 0.46616541353383456, 'number': 75}	{'precision': 0.7538461538461538, 'recall': 0.6533333333333333, 'f1': 0.7, 'number': 75}	0.8496	0.8846	0.8667	0.9434
0.0248	9.0	6615	0.3085	{'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 14}	{'precision': 0.6454545454545455, 'recall': 0.6120689655172413, 'f1': 0.6283185840707964, 'number': 116}	{'precision': 0.9522673031026253, 'recall': 0.9545454545454546, 'f1': 0.9534050179211471, 'number': 418}	{'precision': 0.65, 'recall': 0.7878787878787878, 'f1': 0.7123287671232875, 'number': 33}	{'precision': 0.8955223880597015, 'recall': 0.8993576017130621, 'f1': 0.8974358974358975, 'number': 467}	{'precision': 0.775, 'recall': 0.8857142857142857, 'f1': 0.8266666666666667, 'number': 35}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 30}	{'precision': 0.5555555555555556, 'recall': 0.4166666666666667, 'f1': 0.4761904761904762, 'number': 12}	{'precision': 0.75, 'recall': 0.7692307692307693, 'f1': 0.7594936708860761, 'number': 39}	{'precision': 0.7333333333333333, 'recall': 0.5789473684210527, 'f1': 0.6470588235294117, 'number': 38}	{'precision': 0.9269102990033222, 'recall': 0.9489795918367347, 'f1': 0.9378151260504202, 'number': 294}	{'precision': 0.8547486033519553, 'recall': 0.7688442211055276, 'f1': 0.8095238095238094, 'number': 199}	{'precision': 0.6774193548387096, 'recall': 0.7, 'f1': 0.6885245901639343, 'number': 30}	{'precision': 0.8855042016806722, 'recall': 0.9601366742596811, 'f1': 0.921311475409836, 'number': 878}	{'precision': 0.8304347826086956, 'recall': 0.8925233644859814, 'f1': 0.8603603603603603, 'number': 214}	{'precision': 0.7333333333333333, 'recall': 0.7857142857142857, 'f1': 0.7586206896551724, 'number': 28}	{'precision': 0.8073394495412844, 'recall': 0.6984126984126984, 'f1': 0.748936170212766, 'number': 126}	{'precision': 0.6857142857142857, 'recall': 0.5853658536585366, 'f1': 0.6315789473684211, 'number': 41}	{'precision': 0.5285714285714286, 'recall': 0.49333333333333335, 'f1': 0.5103448275862069, 'number': 75}	{'precision': 0.7246376811594203, 'recall': 0.6666666666666666, 'f1': 0.6944444444444444, 'number': 75}	0.8571	0.8688	0.8629	0.9436
0.0177	10.0	7350	0.3592	{'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 14}	{'precision': 0.5948275862068966, 'recall': 0.5948275862068966, 'f1': 0.5948275862068966, 'number': 116}	{'precision': 0.9532710280373832, 'recall': 0.9760765550239234, 'f1': 0.9645390070921985, 'number': 418}	{'precision': 0.7222222222222222, 'recall': 0.7878787878787878, 'f1': 0.7536231884057971, 'number': 33}	{'precision': 0.8981288981288982, 'recall': 0.9250535331905781, 'f1': 0.9113924050632912, 'number': 467}	{'precision': 0.8108108108108109, 'recall': 0.8571428571428571, 'f1': 0.8333333333333334, 'number': 35}	{'precision': 0.9230769230769231, 'recall': 0.8, 'f1': 0.8571428571428571, 'number': 30}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 12}	{'precision': 0.7058823529411765, 'recall': 0.9230769230769231, 'f1': 0.8000000000000002, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.631578947368421, 'f1': 0.6486486486486486, 'number': 38}	{'precision': 0.8980891719745223, 'recall': 0.9591836734693877, 'f1': 0.9276315789473685, 'number': 294}	{'precision': 0.7980295566502463, 'recall': 0.8140703517587939, 'f1': 0.8059701492537314, 'number': 199}	{'precision': 0.5757575757575758, 'recall': 0.6333333333333333, 'f1': 0.6031746031746033, 'number': 30}	{'precision': 0.8764160659114315, 'recall': 0.969248291571754, 'f1': 0.920497566252028, 'number': 878}	{'precision': 0.7935222672064778, 'recall': 0.9158878504672897, 'f1': 0.8503253796095445, 'number': 214}	{'precision': 0.7586206896551724, 'recall': 0.7857142857142857, 'f1': 0.7719298245614034, 'number': 28}	{'precision': 0.8230088495575221, 'recall': 0.7380952380952381, 'f1': 0.7782426778242678, 'number': 126}	{'precision': 0.7073170731707317, 'recall': 0.7073170731707317, 'f1': 0.7073170731707317, 'number': 41}	{'precision': 0.5873015873015873, 'recall': 0.49333333333333335, 'f1': 0.5362318840579711, 'number': 75}	{'precision': 0.7619047619047619, 'recall': 0.64, 'f1': 0.6956521739130435, 'number': 75}	0.8464	0.8871	0.8663	0.9443
0.0119	11.0	8085	0.4070	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 14}	{'precision': 0.6106194690265486, 'recall': 0.5948275862068966, 'f1': 0.6026200873362445, 'number': 116}	{'precision': 0.9631449631449631, 'recall': 0.937799043062201, 'f1': 0.9503030303030302, 'number': 418}	{'precision': 0.6428571428571429, 'recall': 0.8181818181818182, 'f1': 0.7200000000000001, 'number': 33}	{'precision': 0.8940677966101694, 'recall': 0.9036402569593148, 'f1': 0.898828541001065, 'number': 467}	{'precision': 0.8421052631578947, 'recall': 0.9142857142857143, 'f1': 0.8767123287671234, 'number': 35}	{'precision': 0.9615384615384616, 'recall': 0.8333333333333334, 'f1': 0.8928571428571429, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7380952380952381, 'recall': 0.7948717948717948, 'f1': 0.7654320987654322, 'number': 39}	{'precision': 0.6976744186046512, 'recall': 0.7894736842105263, 'f1': 0.7407407407407408, 'number': 38}	{'precision': 0.921311475409836, 'recall': 0.95578231292517, 'f1': 0.9382303839732887, 'number': 294}	{'precision': 0.8028846153846154, 'recall': 0.8391959798994975, 'f1': 0.8206388206388207, 'number': 199}	{'precision': 0.6451612903225806, 'recall': 0.6666666666666666, 'f1': 0.6557377049180327, 'number': 30}	{'precision': 0.8835051546391752, 'recall': 0.9760820045558086, 'f1': 0.9274891774891776, 'number': 878}	{'precision': 0.8571428571428571, 'recall': 0.8691588785046729, 'f1': 0.8631090487238979, 'number': 214}	{'precision': 0.7037037037037037, 'recall': 0.6785714285714286, 'f1': 0.6909090909090909, 'number': 28}	{'precision': 0.8415841584158416, 'recall': 0.6746031746031746, 'f1': 0.7488986784140969, 'number': 126}	{'precision': 0.6818181818181818, 'recall': 0.7317073170731707, 'f1': 0.7058823529411764, 'number': 41}	{'precision': 0.5689655172413793, 'recall': 0.44, 'f1': 0.49624060150375937, 'number': 75}	{'precision': 0.803030303030303, 'recall': 0.7066666666666667, 'f1': 0.75177304964539, 'number': 75}	0.8581	0.8776	0.8677	0.9414
0.0081	12.0	8820	0.4178	{'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 14}	{'precision': 0.5742574257425742, 'recall': 0.5, 'f1': 0.5345622119815667, 'number': 116}	{'precision': 0.951048951048951, 'recall': 0.9760765550239234, 'f1': 0.9634002361275089, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.8822314049586777, 'recall': 0.9143468950749465, 'f1': 0.8980021030494216, 'number': 467}	{'precision': 0.8421052631578947, 'recall': 0.9142857142857143, 'f1': 0.8767123287671234, 'number': 35}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7619047619047619, 'recall': 0.8205128205128205, 'f1': 0.7901234567901233, 'number': 39}	{'precision': 0.7297297297297297, 'recall': 0.7105263157894737, 'f1': 0.7200000000000001, 'number': 38}	{'precision': 0.8943894389438944, 'recall': 0.9217687074829932, 'f1': 0.9078726968174204, 'number': 294}	{'precision': 0.801980198019802, 'recall': 0.8140703517587939, 'f1': 0.8079800498753117, 'number': 199}	{'precision': 0.6875, 'recall': 0.7333333333333333, 'f1': 0.7096774193548386, 'number': 30}	{'precision': 0.8949579831932774, 'recall': 0.9703872437357631, 'f1': 0.9311475409836065, 'number': 878}	{'precision': 0.8495575221238938, 'recall': 0.897196261682243, 'f1': 0.8727272727272727, 'number': 214}	{'precision': 0.7142857142857143, 'recall': 0.7142857142857143, 'f1': 0.7142857142857143, 'number': 28}	{'precision': 0.8073394495412844, 'recall': 0.6984126984126984, 'f1': 0.748936170212766, 'number': 126}	{'precision': 0.7631578947368421, 'recall': 0.7073170731707317, 'f1': 0.7341772151898733, 'number': 41}	{'precision': 0.5333333333333333, 'recall': 0.4266666666666667, 'f1': 0.4740740740740741, 'number': 75}	{'precision': 0.828125, 'recall': 0.7066666666666667, 'f1': 0.762589928057554, 'number': 75}	0.8573	0.8779	0.8675	0.9441
0.0047	13.0	9555	0.4675	{'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}	{'precision': 0.5943396226415094, 'recall': 0.5431034482758621, 'f1': 0.5675675675675675, 'number': 116}	{'precision': 0.9607843137254902, 'recall': 0.937799043062201, 'f1': 0.9491525423728813, 'number': 418}	{'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}	{'precision': 0.8993576017130621, 'recall': 0.8993576017130621, 'f1': 0.8993576017130621, 'number': 467}	{'precision': 0.8421052631578947, 'recall': 0.9142857142857143, 'f1': 0.8767123287671234, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}	{'precision': 0.7857142857142857, 'recall': 0.8461538461538461, 'f1': 0.8148148148148148, 'number': 39}	{'precision': 0.7428571428571429, 'recall': 0.6842105263157895, 'f1': 0.7123287671232877, 'number': 38}	{'precision': 0.8970099667774086, 'recall': 0.9183673469387755, 'f1': 0.907563025210084, 'number': 294}	{'precision': 0.7678571428571429, 'recall': 0.864321608040201, 'f1': 0.8132387706855793, 'number': 199}	{'precision': 0.6785714285714286, 'recall': 0.6333333333333333, 'f1': 0.6551724137931035, 'number': 30}	{'precision': 0.8870466321243523, 'recall': 0.9749430523917996, 'f1': 0.9289202387411829, 'number': 878}	{'precision': 0.8140495867768595, 'recall': 0.9205607476635514, 'f1': 0.8640350877192982, 'number': 214}	{'precision': 0.7272727272727273, 'recall': 0.5714285714285714, 'f1': 0.64, 'number': 28}	{'precision': 0.8380952380952381, 'recall': 0.6984126984126984, 'f1': 0.7619047619047619, 'number': 126}	{'precision': 0.6888888888888889, 'recall': 0.7560975609756098, 'f1': 0.7209302325581395, 'number': 41}	{'precision': 0.45714285714285713, 'recall': 0.4266666666666667, 'f1': 0.4413793103448276, 'number': 75}	{'precision': 0.7647058823529411, 'recall': 0.6933333333333334, 'f1': 0.7272727272727272, 'number': 75}	0.8500	0.8760	0.8628	0.9427
0.0039	14.0	10290	0.4558	{'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}	{'precision': 0.5943396226415094, 'recall': 0.5431034482758621, 'f1': 0.5675675675675675, 'number': 116}	{'precision': 0.9636803874092009, 'recall': 0.9521531100478469, 'f1': 0.9578820697954272, 'number': 418}	{'precision': 0.6585365853658537, 'recall': 0.8181818181818182, 'f1': 0.7297297297297297, 'number': 33}	{'precision': 0.8952991452991453, 'recall': 0.8972162740899358, 'f1': 0.8962566844919787, 'number': 467}	{'precision': 0.8421052631578947, 'recall': 0.9142857142857143, 'f1': 0.8767123287671234, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7333333333333333, 'recall': 0.8461538461538461, 'f1': 0.7857142857142856, 'number': 39}	{'precision': 0.7096774193548387, 'recall': 0.5789473684210527, 'f1': 0.6376811594202899, 'number': 38}	{'precision': 0.8922558922558923, 'recall': 0.9013605442176871, 'f1': 0.8967851099830796, 'number': 294}	{'precision': 0.8104265402843602, 'recall': 0.8592964824120602, 'f1': 0.8341463414634146, 'number': 199}	{'precision': 0.7142857142857143, 'recall': 0.6666666666666666, 'f1': 0.689655172413793, 'number': 30}	{'precision': 0.8969505783385909, 'recall': 0.9715261958997722, 'f1': 0.932750136686714, 'number': 878}	{'precision': 0.8240343347639485, 'recall': 0.897196261682243, 'f1': 0.8590604026845639, 'number': 214}	{'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}	{'precision': 0.8333333333333334, 'recall': 0.7142857142857143, 'f1': 0.7692307692307692, 'number': 126}	{'precision': 0.6888888888888889, 'recall': 0.7560975609756098, 'f1': 0.7209302325581395, 'number': 41}	{'precision': 0.5238095238095238, 'recall': 0.44, 'f1': 0.4782608695652174, 'number': 75}	{'precision': 0.7611940298507462, 'recall': 0.68, 'f1': 0.7183098591549296, 'number': 75}	0.8572	0.8732	0.8651	0.9433
0.0025	15.0	11025	0.4615	{'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}	{'precision': 0.6160714285714286, 'recall': 0.5948275862068966, 'f1': 0.6052631578947368, 'number': 116}	{'precision': 0.963855421686747, 'recall': 0.9569377990430622, 'f1': 0.9603841536614646, 'number': 418}	{'precision': 0.675, 'recall': 0.8181818181818182, 'f1': 0.7397260273972603, 'number': 33}	{'precision': 0.9014989293361885, 'recall': 0.9014989293361885, 'f1': 0.9014989293361885, 'number': 467}	{'precision': 0.8205128205128205, 'recall': 0.9142857142857143, 'f1': 0.8648648648648648, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 12}	{'precision': 0.75, 'recall': 0.8461538461538461, 'f1': 0.7951807228915662, 'number': 39}	{'precision': 0.7352941176470589, 'recall': 0.6578947368421053, 'f1': 0.6944444444444445, 'number': 38}	{'precision': 0.893687707641196, 'recall': 0.9149659863945578, 'f1': 0.9042016806722689, 'number': 294}	{'precision': 0.8115942028985508, 'recall': 0.8442211055276382, 'f1': 0.8275862068965517, 'number': 199}	{'precision': 0.6896551724137931, 'recall': 0.6666666666666666, 'f1': 0.6779661016949153, 'number': 30}	{'precision': 0.894572025052192, 'recall': 0.9760820045558086, 'f1': 0.9335511982570807, 'number': 878}	{'precision': 0.8135593220338984, 'recall': 0.897196261682243, 'f1': 0.8533333333333333, 'number': 214}	{'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}	{'precision': 0.8348623853211009, 'recall': 0.7222222222222222, 'f1': 0.774468085106383, 'number': 126}	{'precision': 0.6739130434782609, 'recall': 0.7560975609756098, 'f1': 0.7126436781609194, 'number': 41}	{'precision': 0.55, 'recall': 0.44, 'f1': 0.48888888888888893, 'number': 75}	{'precision': 0.75, 'recall': 0.68, 'f1': 0.7132867132867132, 'number': 75}	0.8581	0.8795	0.8687	0.9446

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1