Edit model card

lilt-en-funsd-7

This model is a fine-tuned version of SCUT-DLVCLab/lilt-roberta-en-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3070
  • Other: {'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486}
  • Billing Address: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}
  • Currency: {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}
  • Due Date: {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}
  • Invoice Date: {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}
  • Invoice Number: {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}
  • Line Amount: {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}
  • Line Item Name: {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100}
  • Line Quantity: {'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101}
  • Order Date: {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}
  • Payment Terms: {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31}
  • Po Number: {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}
  • Remit Address: {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}
  • Shipping Address: {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}
  • Total Amount: {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50}
  • Vendor Address: {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}
  • Vendor Name: {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}
  • Overall Precision: 0.9486
  • Overall Recall: 0.9492
  • Overall F1: 0.9489
  • Overall Accuracy: 0.9592

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 4
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • training_steps: 2000
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Other Billing Address Currency Due Date Invoice Date Invoice Number Line Amount Line Item Name Line Quantity Order Date Payment Terms Po Number Remit Address Shipping Address Total Amount Vendor Address Vendor Name Overall Precision Overall Recall Overall F1 Overall Accuracy
1.1575 1.59 100 0.5815 {'precision': 0.8309915696507427, 'recall': 0.83266291230893, 'f1': 0.8318264014466545, 'number': 2486} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 24} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 25} {'precision': 0.33980582524271846, 'recall': 0.7954545454545454, 'f1': 0.47619047619047616, 'number': 44} {'precision': 0.8333333333333334, 'recall': 0.21739130434782608, 'f1': 0.3448275862068966, 'number': 46} {'precision': 0.4971751412429379, 'recall': 0.7096774193548387, 'f1': 0.5847176079734219, 'number': 124} {'precision': 0.2080536912751678, 'recall': 0.62, 'f1': 0.3115577889447236, 'number': 100} {'precision': 0.6326530612244898, 'recall': 0.3069306930693069, 'f1': 0.4133333333333333, 'number': 101} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 31} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} {'precision': 0.017857142857142856, 'recall': 0.07142857142857142, 'f1': 0.028571428571428574, 'number': 14} {'precision': 0.47368421052631576, 'recall': 0.54, 'f1': 0.5046728971962616, 'number': 50} {'precision': 0.125, 'recall': 0.08695652173913043, 'f1': 0.10256410256410256, 'number': 23} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 33} 0.6972 0.7384 0.7172 0.8134
0.3697 3.17 200 0.3376 {'precision': 0.9070539419087137, 'recall': 0.8793242156074015, 'f1': 0.8929738562091504, 'number': 2486} {'precision': 0.3235294117647059, 'recall': 0.4583333333333333, 'f1': 0.3793103448275862, 'number': 24} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5} {'precision': 0.4, 'recall': 0.16, 'f1': 0.22857142857142856, 'number': 25} {'precision': 0.43564356435643564, 'recall': 1.0, 'f1': 0.6068965517241379, 'number': 44} {'precision': 0.5454545454545454, 'recall': 0.9130434782608695, 'f1': 0.6829268292682926, 'number': 46} {'precision': 0.8041958041958042, 'recall': 0.9274193548387096, 'f1': 0.8614232209737828, 'number': 124} {'precision': 0.38271604938271603, 'recall': 0.62, 'f1': 0.47328244274809156, 'number': 100} {'precision': 0.7086614173228346, 'recall': 0.8910891089108911, 'f1': 0.7894736842105263, 'number': 101} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} {'precision': 0.7435897435897436, 'recall': 0.9354838709677419, 'f1': 0.8285714285714285, 'number': 31} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26} {'precision': 0.25, 'recall': 0.3333333333333333, 'f1': 0.28571428571428575, 'number': 9} {'precision': 0.21428571428571427, 'recall': 0.42857142857142855, 'f1': 0.2857142857142857, 'number': 14} {'precision': 0.5512820512820513, 'recall': 0.86, 'f1': 0.671875, 'number': 50} {'precision': 0.875, 'recall': 0.9130434782608695, 'f1': 0.8936170212765957, 'number': 23} {'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33} 0.8170 0.8521 0.8342 0.8954
0.1782 4.76 300 0.2531 {'precision': 0.9419642857142857, 'recall': 0.9336283185840708, 'f1': 0.9377777777777778, 'number': 2486} {'precision': 0.7931034482758621, 'recall': 0.9583333333333334, 'f1': 0.8679245283018867, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8260869565217391, 'recall': 0.76, 'f1': 0.7916666666666667, 'number': 25} {'precision': 0.6825396825396826, 'recall': 0.9772727272727273, 'f1': 0.8037383177570094, 'number': 44} {'precision': 0.86, 'recall': 0.9347826086956522, 'f1': 0.8958333333333334, 'number': 46} {'precision': 0.95, 'recall': 0.9193548387096774, 'f1': 0.9344262295081968, 'number': 124} {'precision': 0.5694444444444444, 'recall': 0.82, 'f1': 0.6721311475409835, 'number': 100} {'precision': 0.8349514563106796, 'recall': 0.8514851485148515, 'f1': 0.8431372549019608, 'number': 101} {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31} {'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 26} {'precision': 0.42857142857142855, 'recall': 0.6666666666666666, 'f1': 0.5217391304347826, 'number': 9} {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} {'precision': 0.9574468085106383, 'recall': 0.9, 'f1': 0.9278350515463918, 'number': 50} {'precision': 1.0, 'recall': 0.9130434782608695, 'f1': 0.9545454545454545, 'number': 23} {'precision': 0.7837837837837838, 'recall': 0.8787878787878788, 'f1': 0.8285714285714285, 'number': 33} 0.9091 0.9146 0.9119 0.9383
0.1085 6.35 400 0.2575 {'precision': 0.951179820992677, 'recall': 0.9404666130329847, 'f1': 0.9457928802588996, 'number': 2486} {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8888888888888888, 'recall': 0.96, 'f1': 0.923076923076923, 'number': 25} {'precision': 0.8888888888888888, 'recall': 0.9090909090909091, 'f1': 0.8988764044943819, 'number': 44} {'precision': 0.9761904761904762, 'recall': 0.8913043478260869, 'f1': 0.9318181818181818, 'number': 46} {'precision': 0.9655172413793104, 'recall': 0.9032258064516129, 'f1': 0.9333333333333333, 'number': 124} {'precision': 0.59375, 'recall': 0.76, 'f1': 0.6666666666666666, 'number': 100} {'precision': 0.8725490196078431, 'recall': 0.8811881188118812, 'f1': 0.8768472906403942, 'number': 101} {'precision': 0.5, 'recall': 0.6666666666666666, 'f1': 0.5714285714285715, 'number': 9} {'precision': 0.8108108108108109, 'recall': 0.967741935483871, 'f1': 0.8823529411764706, 'number': 31} {'precision': 0.8125, 'recall': 0.5, 'f1': 0.6190476190476191, 'number': 26} {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50} {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} {'precision': 0.7894736842105263, 'recall': 0.9090909090909091, 'f1': 0.8450704225352113, 'number': 33} 0.9239 0.9248 0.9243 0.9452
0.071 7.94 500 0.2384 {'precision': 0.9571134020618557, 'recall': 0.9336283185840708, 'f1': 0.9452250050906129, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.75, 'recall': 0.96, 'f1': 0.8421052631578947, 'number': 25} {'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44} {'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46} {'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124} {'precision': 0.6982758620689655, 'recall': 0.81, 'f1': 0.75, 'number': 100} {'precision': 0.8434782608695652, 'recall': 0.9603960396039604, 'f1': 0.8981481481481481, 'number': 101} {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} {'precision': 0.75, 'recall': 0.967741935483871, 'f1': 0.8450704225352113, 'number': 31} {'precision': 0.8666666666666667, 'recall': 0.5, 'f1': 0.6341463414634146, 'number': 26} {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} {'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14} {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.7317073170731707, 'recall': 0.9090909090909091, 'f1': 0.8108108108108109, 'number': 33} 0.9295 0.9286 0.9290 0.9512
0.0489 9.52 600 0.2392 {'precision': 0.9521863506334287, 'recall': 0.9372485921158488, 'f1': 0.94465842286641, 'number': 2486} {'precision': 0.8846153846153846, 'recall': 0.9583333333333334, 'f1': 0.9199999999999999, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.7666666666666667, 'recall': 0.92, 'f1': 0.8363636363636363, 'number': 25} {'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44} {'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46} {'precision': 0.9426229508196722, 'recall': 0.9274193548387096, 'f1': 0.9349593495934959, 'number': 124} {'precision': 0.7079646017699115, 'recall': 0.8, 'f1': 0.7511737089201878, 'number': 100} {'precision': 0.8495575221238938, 'recall': 0.9504950495049505, 'f1': 0.897196261682243, 'number': 101} {'precision': 0.7142857142857143, 'recall': 0.5555555555555556, 'f1': 0.6250000000000001, 'number': 9} {'precision': 0.8823529411764706, 'recall': 0.967741935483871, 'f1': 0.923076923076923, 'number': 31} {'precision': 0.5652173913043478, 'recall': 0.5, 'f1': 0.5306122448979592, 'number': 26} {'precision': 0.7, 'recall': 0.7777777777777778, 'f1': 0.7368421052631577, 'number': 9} {'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 14} {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33} 0.9283 0.9289 0.9286 0.9513
0.0399 11.11 700 0.2334 {'precision': 0.9556451612903226, 'recall': 0.9533386967015286, 'f1': 0.9544905356423681, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8214285714285714, 'recall': 0.92, 'f1': 0.8679245283018867, 'number': 25} {'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44} {'precision': 0.9772727272727273, 'recall': 0.9347826086956522, 'f1': 0.9555555555555557, 'number': 46} {'precision': 0.9022556390977443, 'recall': 0.967741935483871, 'f1': 0.933852140077821, 'number': 124} {'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 100} {'precision': 0.8913043478260869, 'recall': 0.8118811881188119, 'f1': 0.8497409326424871, 'number': 101} {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} {'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26} {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9782608695652174, 'recall': 0.9, 'f1': 0.9375, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33} 0.9428 0.9413 0.9420 0.9564
0.0308 12.7 800 0.2947 {'precision': 0.9552361396303901, 'recall': 0.9356395816572808, 'f1': 0.9453363137573665, 'number': 2486} {'precision': 0.9230769230769231, 'recall': 1.0, 'f1': 0.9600000000000001, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25} {'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44} {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} {'precision': 0.8880597014925373, 'recall': 0.9596774193548387, 'f1': 0.9224806201550387, 'number': 124} {'precision': 0.7542372881355932, 'recall': 0.89, 'f1': 0.8165137614678899, 'number': 100} {'precision': 0.9425287356321839, 'recall': 0.8118811881188119, 'f1': 0.8723404255319149, 'number': 101} {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} {'precision': 0.8857142857142857, 'recall': 1.0, 'f1': 0.9393939393939393, 'number': 31} {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} {'precision': 0.6153846153846154, 'recall': 0.8888888888888888, 'f1': 0.7272727272727274, 'number': 9} {'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14} {'precision': 0.9230769230769231, 'recall': 0.96, 'f1': 0.9411764705882353, 'number': 50} {'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23} {'precision': 0.7560975609756098, 'recall': 0.9393939393939394, 'f1': 0.8378378378378378, 'number': 33} 0.9350 0.9311 0.9330 0.9525
0.0282 14.29 900 0.2718 {'precision': 0.9555375909458367, 'recall': 0.9509251810136766, 'f1': 0.9532258064516129, 'number': 2486} {'precision': 0.8518518518518519, 'recall': 0.9583333333333334, 'f1': 0.9019607843137256, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8518518518518519, 'recall': 0.92, 'f1': 0.8846153846153846, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 46} {'precision': 0.9147286821705426, 'recall': 0.9516129032258065, 'f1': 0.932806324110672, 'number': 124} {'precision': 0.7264957264957265, 'recall': 0.85, 'f1': 0.7834101382488479, 'number': 100} {'precision': 0.9381443298969072, 'recall': 0.900990099009901, 'f1': 0.9191919191919191, 'number': 101} {'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9} {'precision': 0.9354838709677419, 'recall': 0.9354838709677419, 'f1': 0.9354838709677419, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50} {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} {'precision': 0.8157894736842105, 'recall': 0.9393939393939394, 'f1': 0.8732394366197183, 'number': 33} 0.9382 0.9438 0.9410 0.9569
0.0188 15.87 1000 0.3016 {'precision': 0.9587586770110249, 'recall': 0.9444891391794047, 'f1': 0.9515704154002026, 'number': 2486} {'precision': 0.88, 'recall': 0.9166666666666666, 'f1': 0.8979591836734694, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25} {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} {'precision': 0.9361702127659575, 'recall': 0.9565217391304348, 'f1': 0.9462365591397849, 'number': 46} {'precision': 0.9224806201550387, 'recall': 0.9596774193548387, 'f1': 0.9407114624505929, 'number': 124} {'precision': 0.7207207207207207, 'recall': 0.8, 'f1': 0.7582938388625592, 'number': 100} {'precision': 0.9393939393939394, 'recall': 0.9207920792079208, 'f1': 0.9300000000000002, 'number': 101} {'precision': 0.75, 'recall': 0.6666666666666666, 'f1': 0.7058823529411765, 'number': 9} {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} {'precision': 0.9545454545454546, 'recall': 0.8076923076923077, 'f1': 0.875, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} {'precision': 0.8378378378378378, 'recall': 0.9393939393939394, 'f1': 0.8857142857142858, 'number': 33} 0.9416 0.9371 0.9394 0.9550
0.0168 17.46 1100 0.2942 {'precision': 0.9548751007252216, 'recall': 0.9533386967015286, 'f1': 0.9541062801932367, 'number': 2486} {'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8148148148148148, 'recall': 0.88, 'f1': 0.8461538461538461, 'number': 25} {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} {'precision': 0.9555555555555556, 'recall': 0.9347826086956522, 'f1': 0.945054945054945, 'number': 46} {'precision': 0.9212598425196851, 'recall': 0.9435483870967742, 'f1': 0.9322709163346614, 'number': 124} {'precision': 0.6837606837606838, 'recall': 0.8, 'f1': 0.7373271889400922, 'number': 100} {'precision': 0.9223300970873787, 'recall': 0.9405940594059405, 'f1': 0.9313725490196079, 'number': 101} {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} {'precision': 0.9032258064516129, 'recall': 0.9032258064516129, 'f1': 0.9032258064516129, 'number': 31} {'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} {'precision': 0.9565217391304348, 'recall': 0.88, 'f1': 0.9166666666666666, 'number': 50} {'precision': 0.9130434782608695, 'recall': 0.9130434782608695, 'f1': 0.9130434782608695, 'number': 23} {'precision': 0.8235294117647058, 'recall': 0.8484848484848485, 'f1': 0.8358208955223881, 'number': 33} 0.9354 0.9422 0.9388 0.9553
0.0153 19.05 1200 0.2782 {'precision': 0.9548361310951239, 'recall': 0.9609814963797265, 'f1': 0.9578989574979953, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.921875, 'recall': 0.9516129032258065, 'f1': 0.9365079365079365, 'number': 124} {'precision': 0.8367346938775511, 'recall': 0.82, 'f1': 0.8282828282828283, 'number': 100} {'precision': 0.9489795918367347, 'recall': 0.9207920792079208, 'f1': 0.934673366834171, 'number': 101} {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9591836734693877, 'recall': 0.94, 'f1': 0.9494949494949495, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.725, 'recall': 0.8787878787878788, 'f1': 0.7945205479452054, 'number': 33} 0.9429 0.9489 0.9459 0.9600
0.0102 20.63 1300 0.3009 {'precision': 0.9611650485436893, 'recall': 0.9557522123893806, 'f1': 0.9584509883017345, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.88, 'recall': 0.88, 'f1': 0.88, 'number': 25} {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124} {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100} {'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101} {'precision': 1.0, 'recall': 0.7777777777777778, 'f1': 0.8750000000000001, 'number': 9} {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33} 0.9474 0.9489 0.9481 0.9585
0.008 22.22 1400 0.2937 {'precision': 0.9615851192883138, 'recall': 0.9565567176186646, 'f1': 0.9590643274853803, 'number': 2486} {'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} {'precision': 0.8018867924528302, 'recall': 0.85, 'f1': 0.8252427184466019, 'number': 100} {'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101} {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33} 0.9477 0.9492 0.9485 0.9587
0.0062 23.81 1500 0.3124 {'precision': 0.963023161316538, 'recall': 0.9533386967015286, 'f1': 0.9581564584596726, 'number': 2486} {'precision': 0.9583333333333334, 'recall': 0.9583333333333334, 'f1': 0.9583333333333334, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.7586206896551724, 'recall': 0.88, 'f1': 0.8148148148148148, 'number': 25} {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124} {'precision': 0.7777777777777778, 'recall': 0.77, 'f1': 0.7738693467336684, 'number': 100} {'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101} {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} {'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 23} {'precision': 0.8055555555555556, 'recall': 0.8787878787878788, 'f1': 0.8405797101449276, 'number': 33} 0.9471 0.9438 0.9455 0.9586
0.0055 25.4 1600 0.3070 {'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100} {'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101} {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} 0.9486 0.9492 0.9489 0.9592
0.0044 26.98 1700 0.3166 {'precision': 0.9592413236481033, 'recall': 0.9561544650040226, 'f1': 0.9576954069298952, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} {'precision': 0.937007874015748, 'recall': 0.9596774193548387, 'f1': 0.9482071713147411, 'number': 124} {'precision': 0.8095238095238095, 'recall': 0.85, 'f1': 0.8292682926829269, 'number': 100} {'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101} {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8285714285714286, 'recall': 0.8787878787878788, 'f1': 0.8529411764705883, 'number': 33} 0.9471 0.9486 0.9478 0.9579
0.0035 28.57 1800 0.3201 {'precision': 0.9599514563106796, 'recall': 0.9545454545454546, 'f1': 0.9572408229124647, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} {'precision': 0.8, 'recall': 0.84, 'f1': 0.8195121951219512, 'number': 100} {'precision': 0.9238095238095239, 'recall': 0.9603960396039604, 'f1': 0.941747572815534, 'number': 101} {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9056603773584906, 'recall': 0.96, 'f1': 0.9320388349514563, 'number': 50} {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} 0.9446 0.9467 0.9456 0.9587
0.0035 30.16 1900 0.3207 {'precision': 0.9588543767648245, 'recall': 0.9561544650040226, 'f1': 0.9575025176233636, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} {'precision': 0.7850467289719626, 'recall': 0.84, 'f1': 0.8115942028985507, 'number': 100} {'precision': 0.9230769230769231, 'recall': 0.9504950495049505, 'f1': 0.9365853658536586, 'number': 101} {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} 0.9449 0.9470 0.9459 0.9585
0.0026 31.75 2000 0.3208 {'precision': 0.9580814187827489, 'recall': 0.9561544650040226, 'f1': 0.957116972015301, 'number': 2486} {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} {'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124} {'precision': 0.7904761904761904, 'recall': 0.83, 'f1': 0.8097560975609757, 'number': 100} {'precision': 0.9207920792079208, 'recall': 0.9207920792079208, 'f1': 0.9207920792079208, 'number': 101} {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} {'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50} {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} 0.9448 0.9463 0.9456 0.9583

Framework versions

  • Transformers 4.28.0
  • Pytorch 2.0.0+cu118
  • Datasets 2.12.1.dev0
  • Tokenizers 0.13.3
Downloads last month
8
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.