aguila-7b / README.md
joanllop's picture
First model version
f8df299
|
raw
history blame
45.5 kB
metadata
tags:
  - generated_from_trainer
datasets:
  - >-
    /bscdata/data/open_data_26B_tokens_balanced_es_ca/open_data_26B_tokens_balanced_es_ca.py
metrics:
  - accuracy
model-index:
  - name: falcon_7b_balanced_tokenizer_fp16_CPT_open_data_26B_tokens_balanced_es_ca
    results:
      - task:
          name: Causal Language Modeling
          type: text-generation
        dataset:
          name: >-
            /bscdata/data/open_data_26B_tokens_balanced_es_ca/open_data_26B_tokens_balanced_es_ca.py
            default
          type: >-
            /bscdata/data/open_data_26B_tokens_balanced_es_ca/open_data_26B_tokens_balanced_es_ca.py
          config: default
          split: validation
          args: default
        metrics:
          - name: Accuracy
            type: accuracy
            value: 0.5258444783433934

falcon_7b_balanced_tokenizer_fp16_CPT_open_data_26B_tokens_balanced_es_ca

This model is a fine-tuned version of /bscdata/models/falcon_7b_balanced_tokenizer_fp16/ on the /bscdata/data/open_data_26B_tokens_balanced_es_ca/open_data_26B_tokens_balanced_es_ca.py default dataset. It achieves the following results on the evaluation set:

  • Loss: 2.1504
  • Accuracy: 0.5258

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 1
  • eval_batch_size: 1
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • total_train_batch_size: 8
  • total_eval_batch_size: 8
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 1.0

Training results

Training Loss Epoch Step Accuracy Validation Loss
5.3279 0.0 5000 0.3133 3.9941
3.5754 0.0 10000 0.3824 3.3105
3.6102 0.0 15000 0.3977 3.1660
3.0639 0.01 20000 0.4134 3.0215
2.9477 0.01 25000 0.4252 2.9199
2.8589 0.01 30000 0.4315 2.8672
2.8063 0.01 35000 0.4388 2.8027
2.7646 0.01 40000 0.4419 2.7715
2.7306 0.01 45000 0.4467 2.7363
2.7106 0.01 50000 0.4493 2.7129
2.6829 0.02 55000 0.4522 2.6895
2.6703 0.02 60000 0.4537 2.6758
2.6522 0.02 65000 0.4560 2.6602
2.6377 0.02 70000 0.4574 2.6484
2.6241 0.02 75000 0.4587 2.6348
2.6159 0.02 80000 0.4604 2.625
2.5959 0.03 85000 0.4613 2.6133
2.5877 0.03 90000 0.4624 2.6035
2.5832 0.03 95000 0.4632 2.5996
2.5726 0.03 100000 0.4648 2.5859
2.5723 0.03 105000 0.4655 2.5801
2.5584 0.03 110000 0.4641 2.5938
2.5541 0.03 115000 0.4673 2.5664
2.541 0.04 120000 0.4684 2.5586
2.5359 0.04 125000 0.4674 2.5645
2.5298 0.04 130000 0.4699 2.5449
2.5258 0.04 135000 0.4703 2.5410
2.5207 0.04 140000 0.4709 2.5371
2.5167 0.04 145000 0.4719 2.5312
2.5101 0.04 150000 0.4702 2.5449
2.5058 0.05 155000 0.4730 2.5215
2.5021 0.05 160000 0.4734 2.5195
2.8135 0.05 165000 0.4317 2.8320
2.7932 0.05 170000 0.4730 2.5215
2.4914 0.05 175000 0.4752 2.5059
2.487 0.05 180000 0.4754 2.5039
2.4829 0.06 185000 0.4751 2.5039
2.4778 0.06 190000 0.4763 2.4961
2.4779 0.06 195000 0.4770 2.4922
2.4685 0.06 200000 0.4766 2.4941
2.4661 0.06 205000 0.4776 2.4844
2.4579 0.06 210000 0.4783 2.4805
2.4589 0.06 215000 0.4788 2.4785
2.4571 0.07 220000 0.4793 2.4746
2.4504 0.07 225000 0.4797 2.4727
2.4538 0.07 230000 0.4800 2.4688
2.4481 0.07 235000 0.4806 2.4668
2.4454 0.07 240000 0.4810 2.4609
2.44 0.07 245000 0.4811 2.4590
2.4392 0.07 250000 0.4811 2.4590
2.431 0.08 255000 0.4813 2.4570
2.4377 0.08 260000 0.4823 2.4512
2.4299 0.08 265000 0.4826 2.4473
2.4283 0.08 270000 0.4828 2.4473
2.4256 0.08 275000 0.4833 2.4434
2.4198 0.08 280000 0.4838 2.4414
2.4174 0.09 285000 0.4840 2.4414
2.4151 0.09 290000 0.4844 2.4355
2.4191 0.09 295000 0.4847 2.4336
2.4071 0.09 300000 0.4848 2.4316
2.4126 0.09 305000 0.4855 2.4277
2.4053 0.09 310000 0.4851 2.4297
2.4071 0.09 315000 0.4858 2.4258
2.4027 0.1 320000 0.4866 2.4219
2.4013 0.1 325000 0.4867 2.4180
2.4032 0.1 330000 0.4866 2.4180
2.3919 0.1 335000 0.4871 2.4160
2.3936 0.1 340000 0.4873 2.4141
2.3905 0.1 345000 0.4878 2.4102
2.3889 0.1 350000 0.4881 2.4102
2.3866 0.11 355000 0.4884 2.4082
2.3823 0.11 360000 0.4888 2.4062
2.3828 0.11 365000 0.4888 2.4023
2.3795 0.11 370000 0.4889 2.4004
2.3812 0.11 375000 0.4868 2.4160
2.3789 0.11 380000 0.4896 2.3965
2.372 0.12 385000 0.4895 2.3965
2.3732 0.12 390000 0.4899 2.3965
2.3725 0.12 395000 0.4903 2.3926
2.3716 0.12 400000 0.4904 2.3906
2.3709 0.12 405000 0.4904 2.3906
2.3619 0.12 410000 0.4906 2.3887
2.367 0.12 415000 0.4912 2.3867
2.3639 0.13 420000 0.4912 2.3848
2.3621 0.13 425000 0.4919 2.3828
2.3578 0.13 430000 0.4920 2.3809
2.3608 0.13 435000 0.4922 2.3789
2.3541 0.13 440000 0.4923 2.3770
2.3556 0.13 445000 0.4926 2.3770
2.3562 0.13 450000 0.4928 2.3770
2.3641 0.14 455000 0.4910 2.3867
2.3641 0.14 460000 0.4911 2.3867
2.3646 0.14 465000 0.4911 2.3867
2.3629 0.14 470000 0.4911 2.3848
2.3659 0.14 475000 0.4914 2.3828
2.3651 0.14 480000 0.4916 2.3828
2.3608 0.15 485000 0.4918 2.3809
2.3612 0.15 490000 0.4920 2.3809
2.3569 0.15 495000 0.4922 2.3789
2.3557 0.15 500000 0.4923 2.3789
2.3541 0.15 505000 0.4922 2.3770
2.351 0.15 510000 0.4927 2.375
2.3504 0.15 515000 0.4926 2.375
2.3479 0.16 520000 0.4929 2.3730
2.3451 0.16 525000 0.4929 2.3711
2.3505 0.16 530000 0.4934 2.3691
2.3457 0.16 535000 0.4934 2.3691
2.3479 0.16 540000 0.4937 2.3691
2.3421 0.16 545000 0.4936 2.3672
2.3433 0.16 550000 0.4937 2.3672
2.3425 0.17 555000 0.4939 2.3652
2.3403 0.17 560000 0.4942 2.3633
2.3417 0.17 565000 0.4944 2.3613
2.3382 0.17 570000 0.4947 2.3613
2.3354 0.17 575000 0.4949 2.3594
2.3366 0.17 580000 0.4947 2.3594
2.3373 0.18 585000 0.4945 2.3594
2.3365 0.18 590000 0.4949 2.3594
2.3318 0.18 595000 0.4953 2.3555
2.3278 0.18 600000 0.4958 2.3535
2.3277 0.18 605000 0.4959 2.3516
2.326 0.18 610000 0.4961 2.3516
2.3273 0.18 615000 0.4961 2.3516
2.3284 0.19 620000 0.4965 2.3496
2.3276 0.19 625000 0.4966 2.3477
2.3228 0.19 630000 0.4967 2.3457
2.3219 0.19 635000 0.4968 2.3457
2.326 0.19 640000 0.4970 2.3438
2.3191 0.19 645000 0.4972 2.3418
2.3167 0.19 650000 0.4973 2.3438
2.3172 0.2 655000 0.4974 2.3418
2.3194 0.2 660000 0.4977 2.3379
2.3204 0.2 665000 0.4976 2.3398
2.309 0.2 670000 0.4980 2.3359
2.3147 0.2 675000 0.4981 2.3379
2.3122 0.2 680000 0.4980 2.3359
2.3096 0.21 685000 0.4984 2.3340
2.3093 0.21 690000 0.4986 2.3340
2.3048 0.21 695000 0.4985 2.3320
2.3111 0.21 700000 0.4988 2.3301
2.3074 0.21 705000 0.4989 2.3301
2.3082 0.21 710000 0.4992 2.3301
2.3093 0.21 715000 0.4994 2.3281
2.3011 0.22 720000 0.4995 2.3281
2.2998 0.22 725000 0.4995 2.3262
2.3012 0.22 730000 0.4996 2.3262
2.3002 0.22 735000 0.4997 2.3242
2.2994 0.22 740000 0.5000 2.3242
2.299 0.22 745000 0.5001 2.3223
2.2969 0.22 750000 0.5003 2.3223
2.2934 0.23 755000 0.5004 2.3203
2.2988 0.23 760000 0.5005 2.3184
2.2911 0.23 765000 0.5007 2.3184
2.2929 0.23 770000 0.5008 2.3184
2.2926 0.23 775000 0.5009 2.3164
2.292 0.23 780000 0.5012 2.3164
2.2932 0.24 785000 0.5014 2.3145
2.2903 0.24 790000 0.5014 2.3145
2.2886 0.24 795000 0.5015 2.3125
2.2924 0.24 800000 0.5015 2.3125
2.2891 0.24 805000 0.5019 2.3105
2.2862 0.24 810000 0.5020 2.3086
2.2858 0.24 815000 0.5022 2.3086
2.2841 0.25 820000 0.5023 2.3066
2.2843 0.25 825000 0.5022 2.3086
2.2832 0.25 830000 0.5025 2.3066
2.2846 0.25 835000 0.5026 2.3066
2.2784 0.25 840000 0.5027 2.3047
2.277 0.25 845000 0.5028 2.3027
2.276 0.25 850000 0.5026 2.3066
2.2802 0.26 855000 0.5031 2.3027
2.2781 0.26 860000 0.5032 2.3008
2.2749 0.26 865000 0.5038 2.2988
2.2729 0.26 870000 0.5037 2.2969
2.2708 0.26 875000 0.5039 2.2969
2.2754 0.26 880000 0.5039 2.2969
2.2761 0.27 885000 0.5041 2.2949
2.2742 0.27 890000 0.5041 2.2949
2.2734 0.27 895000 0.5041 2.2949
2.2682 0.27 900000 0.5044 2.2930
2.2667 0.27 905000 0.5045 2.2930
2.2676 0.27 910000 0.5046 2.2930
2.2707 0.27 915000 0.5047 2.2910
2.265 0.28 920000 0.5048 2.2910
2.2676 0.28 925000 0.5046 2.2910
2.2662 0.28 930000 0.5052 2.2891
2.2706 0.28 935000 0.5051 2.2891
2.2657 0.28 940000 0.5049 2.2891
2.2672 0.28 945000 0.5050 2.2871
2.2716 0.28 950000 0.5037 2.2969
2.2702 0.29 955000 0.5037 2.2988
2.2708 0.29 960000 0.5035 2.2988
2.2738 0.29 965000 0.5035 2.2988
2.2737 0.29 970000 0.5036 2.2988
2.2763 0.29 975000 0.4987 2.3301
2.2738 0.29 980000 0.5035 2.2969
2.2737 0.3 985000 0.5036 2.2969
2.2748 0.3 990000 0.5036 2.2969
2.2724 0.3 995000 0.5038 2.2969
2.2744 0.3 1000000 0.5033 2.2988
2.2694 0.3 1005000 0.5033 2.2988
2.2684 0.3 1010000 0.5039 2.2949
2.2731 0.3 1015000 0.5040 2.2949
2.2714 0.31 1020000 0.5042 2.2949
2.2687 0.31 1025000 0.5045 2.2930
2.2673 0.31 1030000 0.5046 2.2930
2.2677 0.31 1035000 0.5044 2.2930
2.265 0.31 1040000 0.5047 2.2910
2.2659 0.31 1045000 0.5045 2.2910
2.2633 0.31 1050000 0.5042 2.2949
2.2689 0.32 1055000 0.5050 2.2891
2.2617 0.32 1060000 0.5049 2.2891
2.2613 0.32 1065000 0.5052 2.2871
2.2649 0.32 1070000 0.5047 2.2891
2.2587 0.32 1075000 0.5053 2.2871
2.2641 0.32 1080000 0.5054 2.2852
2.2634 0.33 1085000 0.5057 2.2852
2.2597 0.33 1090000 0.5057 2.2832
2.2572 0.33 1095000 0.5060 2.2832
2.2566 0.33 1100000 0.5056 2.2832
2.2576 0.33 1105000 0.5056 2.2832
2.2612 0.33 1110000 0.5057 2.2832
2.2585 0.33 1115000 0.5059 2.2812
2.2528 0.34 1120000 0.5060 2.2812
2.2599 0.34 1125000 0.5060 2.2812
2.2556 0.34 1130000 0.5066 2.2773
2.2519 0.34 1135000 0.5064 2.2793
2.2567 0.34 1140000 0.5068 2.2773
2.2516 0.34 1145000 0.5069 2.2754
2.2533 0.34 1150000 0.5068 2.2754
2.2532 0.35 1155000 0.5070 2.2754
2.2572 0.35 1160000 0.5064 2.2793
2.2514 0.35 1165000 0.5072 2.2734
2.2471 0.35 1170000 0.5073 2.2734
2.2524 0.35 1175000 0.5076 2.2715
2.247 0.35 1180000 0.5073 2.2715
2.2491 0.35 1185000 0.5077 2.2715
2.2481 0.36 1190000 0.5078 2.2695
2.2465 0.36 1195000 0.5069 2.2734
2.2494 0.36 1200000 0.5067 2.2793
2.2541 0.36 1205000 0.5069 2.2754
2.25 0.36 1210000 0.5067 2.2754
2.25 0.36 1215000 0.5064 2.2793
2.2508 0.37 1220000 0.5070 2.2734
2.2496 0.37 1225000 0.5070 2.2734
2.2499 0.37 1230000 0.5073 2.2734
2.2467 0.37 1235000 0.5076 2.2715
2.2497 0.37 1240000 0.5073 2.2715
2.2463 0.37 1245000 0.5073 2.2715
2.2479 0.37 1250000 0.5078 2.2695
2.2445 0.38 1255000 0.5079 2.2695
2.247 0.38 1260000 0.5078 2.2695
2.2443 0.38 1265000 0.5079 2.2676
2.243 0.38 1270000 0.5081 2.2676
2.2454 0.38 1275000 0.5077 2.2715
2.2451 0.38 1280000 0.5081 2.2695
2.2455 0.38 1285000 0.5084 2.2656
2.241 0.39 1290000 0.5083 2.2676
2.243 0.39 1295000 0.5086 2.2637
2.2408 0.39 1300000 0.5084 2.2637
2.2508 0.39 1305000 0.5063 2.2793
2.252 0.39 1310000 0.5047 2.2910
2.7482 0.39 1315000 0.4506 2.6465
2.4189 0.4 1320000 0.5070 2.2754
2.2446 0.4 1325000 0.5081 2.2676
2.2416 0.4 1330000 0.5087 2.2637
2.2421 0.4 1335000 0.5088 2.2617
2.2367 0.4 1340000 0.5092 2.2617
2.2355 0.4 1345000 0.5091 2.2598
2.2379 0.4 1350000 0.5094 2.2598
2.2365 0.41 1355000 0.5094 2.2598
2.2379 0.41 1360000 0.5091 2.2578
2.235 0.41 1365000 0.5095 2.2578
2.236 0.41 1370000 0.5093 2.2578
2.2344 0.41 1375000 0.5095 2.2578
2.2348 0.41 1380000 0.5096 2.2559
2.2306 0.41 1385000 0.5097 2.2559
2.2293 0.42 1390000 0.5098 2.2559
2.2311 0.42 1395000 0.5101 2.2539
2.231 0.42 1400000 0.5101 2.2539
2.2272 0.42 1405000 0.5102 2.2520
2.2264 0.42 1410000 0.5102 2.2539
2.2295 0.42 1415000 0.5104 2.2520
2.2281 0.43 1420000 0.5104 2.2520
2.2234 0.43 1425000 0.5107 2.25
2.2293 0.43 1430000 0.5107 2.25
2.2256 0.43 1435000 0.5109 2.25
2.2247 0.43 1440000 0.5108 2.25
2.222 0.43 1445000 0.5108 2.25
2.2228 0.43 1450000 0.5106 2.2480
2.2241 0.44 1455000 0.5111 2.2480
2.2219 0.44 1460000 0.5111 2.2461
2.2219 0.44 1465000 0.5113 2.2461
2.2215 0.44 1470000 0.5113 2.2461
2.2193 0.44 1475000 0.5116 2.2441
2.2183 0.44 1480000 0.5115 2.2441
2.2177 0.44 1485000 0.5116 2.2441
2.2211 0.45 1490000 0.5116 2.2422
2.2183 0.45 1495000 0.5118 2.2422
2.2182 0.45 1500000 0.5120 2.2402
2.2148 0.45 1505000 0.5122 2.2402
2.2217 0.45 1510000 0.5123 2.2402
2.2117 0.45 1515000 0.5124 2.2383
2.2152 0.46 1520000 0.5123 2.2383
2.2148 0.46 1525000 0.5125 2.2383
2.2151 0.46 1530000 0.5127 2.2363
2.2129 0.46 1535000 0.5127 2.2363
2.2145 0.46 1540000 0.5128 2.2363
2.2099 0.46 1545000 0.5129 2.2363
2.2125 0.46 1550000 0.5132 2.2344
2.2101 0.47 1555000 0.5131 2.2344
2.211 0.47 1560000 0.5132 2.2344
2.2086 0.47 1565000 0.5132 2.2344
2.2137 0.47 1570000 0.5132 2.2324
2.2122 0.47 1575000 0.5134 2.2324
2.2053 0.47 1580000 0.5134 2.2324
2.208 0.47 1585000 0.5134 2.2305
2.2081 0.48 1590000 0.5136 2.2305
2.2077 0.48 1595000 0.5138 2.2305
2.2061 0.48 1600000 0.5136 2.2305
2.2055 0.48 1605000 0.5139 2.2285
2.2065 0.48 1610000 0.5139 2.2285
2.2054 0.48 1615000 0.5139 2.2285
2.2035 0.49 1620000 0.5140 2.2285
2.2021 0.49 1625000 0.5140 2.2285
2.2036 0.49 1630000 0.5138 2.2285
2.204 0.49 1635000 0.5140 2.2266
2.2042 0.49 1640000 0.5141 2.2266
2.2024 0.49 1645000 0.5142 2.2266
2.2023 0.49 1650000 0.5144 2.2266
2.1976 0.5 1655000 0.5146 2.2246
2.2028 0.5 1660000 0.5147 2.2246
2.1971 0.5 1665000 0.5146 2.2246
2.1978 0.5 1670000 0.5146 2.2246
2.1955 0.5 1675000 0.5148 2.2227
2.1967 0.5 1680000 0.5147 2.2227
2.1975 0.5 1685000 0.5152 2.2227
2.1972 0.51 1690000 0.5149 2.2207
2.1967 0.51 1695000 0.5151 2.2207
2.194 0.51 1700000 0.5151 2.2207
2.2009 0.51 1705000 0.5139 2.2285
2.2085 0.51 1710000 0.5136 2.2305
2.2077 0.51 1715000 0.5137 2.2305
2.205 0.52 1720000 0.5134 2.2305
2.2063 0.52 1725000 0.5134 2.2305
2.2076 0.52 1730000 0.5135 2.2305
2.2036 0.52 1735000 0.5133 2.2305
2.2064 0.52 1740000 0.5138 2.2305
2.2053 0.52 1745000 0.5137 2.2305
2.2048 0.52 1750000 0.5139 2.2305
2.2075 0.53 1755000 0.5138 2.2305
2.2041 0.53 1760000 0.5136 2.2285
2.2057 0.53 1765000 0.5139 2.2285
2.2054 0.53 1770000 0.5139 2.2285
2.2085 0.53 1775000 0.5139 2.2285
2.2051 0.53 1780000 0.5141 2.2266
2.2023 0.53 1785000 0.5139 2.2266
2.205 0.54 1790000 0.5141 2.2266
2.2009 0.54 1795000 0.5141 2.2266
2.1998 0.54 1800000 0.5143 2.2266
2.2009 0.54 1805000 0.5144 2.2246
2.2027 0.54 1810000 0.5143 2.2266
2.2007 0.54 1815000 0.5146 2.2246
2.1978 0.55 1820000 0.5145 2.2246
2.1999 0.55 1825000 0.5146 2.2227
2.1978 0.55 1830000 0.5148 2.2227
2.1989 0.55 1835000 0.5147 2.2227
2.1989 0.55 1840000 0.5148 2.2227
2.1982 0.55 1845000 0.5150 2.2207
2.1974 0.55 1850000 0.5151 2.2207
2.1972 0.56 1855000 0.5151 2.2207
2.1966 0.56 1860000 0.5151 2.2207
2.198 0.56 1865000 0.5150 2.2207
2.1978 0.56 1870000 0.5152 2.2207
2.1938 0.56 1875000 0.5152 2.2207
2.1908 0.56 1880000 0.5152 2.2188
2.1899 0.56 1885000 0.5152 2.2188
2.1938 0.57 1890000 0.5152 2.2188
2.1909 0.57 1895000 0.5154 2.2188
2.1921 0.57 1900000 0.5155 2.2188
2.1926 0.57 1905000 0.5156 2.2168
2.194 0.57 1910000 0.5154 2.2168
2.1942 0.57 1915000 0.5152 2.2188
2.1947 0.58 1920000 0.5151 2.2188
2.1941 0.58 1925000 0.5151 2.2207
2.1984 0.58 1930000 0.5152 2.2207
2.1929 0.58 1935000 0.5151 2.2207
2.1921 0.58 1940000 0.5154 2.2188
2.1932 0.58 1945000 0.5153 2.2188
2.1959 0.58 1950000 0.5154 2.2188
2.1927 0.59 1955000 0.5154 2.2188
2.1949 0.59 1960000 0.5155 2.2188
2.1918 0.59 1965000 0.5154 2.2168
2.1957 0.59 1970000 0.5155 2.2168
2.1884 0.59 1975000 0.5157 2.2168
2.1942 0.59 1980000 0.5156 2.2148
2.1938 0.59 1985000 0.5156 2.2168
2.1935 0.6 1990000 0.5160 2.2148
2.1902 0.6 1995000 0.5157 2.2148
2.188 0.6 2000000 0.5158 2.2148
2.1862 0.6 2005000 0.5159 2.2129
2.1886 0.6 2010000 0.5161 2.2129
2.1811 0.6 2015000 0.5161 2.2129
2.19 0.61 2020000 0.5160 2.2129
2.1895 0.61 2025000 0.5165 2.2129
2.1904 0.61 2030000 0.5161 2.2129
2.1854 0.61 2035000 0.5165 2.2129
2.1883 0.61 2040000 0.5165 2.2109
2.1859 0.61 2045000 0.5165 2.2109
2.1849 0.61 2050000 0.5168 2.2090
2.1844 0.62 2055000 0.5167 2.2109
2.1866 0.62 2060000 0.5167 2.2090
2.1865 0.62 2065000 0.5168 2.2090
2.1846 0.62 2070000 0.5171 2.2070
2.1821 0.62 2075000 0.5170 2.2070
2.184 0.62 2080000 0.5170 2.2070
2.1847 0.62 2085000 0.5173 2.2051
2.1836 0.63 2090000 0.5174 2.2051
2.1791 0.63 2095000 0.5174 2.2051
2.1812 0.63 2100000 0.5173 2.2051
2.1835 0.63 2105000 0.5176 2.2051
2.1806 0.63 2110000 0.5176 2.2051
2.1832 0.63 2115000 0.5175 2.2051
2.1766 0.64 2120000 0.5178 2.2031
2.1775 0.64 2125000 0.5178 2.2031
2.1801 0.64 2130000 0.5177 2.2031
2.1789 0.64 2135000 0.5178 2.2031
2.1794 0.64 2140000 0.5178 2.2031
2.1799 0.64 2145000 0.5179 2.2012
2.1746 0.64 2150000 0.5180 2.2012
2.1766 0.65 2155000 0.5179 2.2012
2.1754 0.65 2160000 0.5177 2.2012
2.1764 0.65 2165000 0.5177 2.2012
2.1745 0.65 2170000 0.5183 2.1992
2.1735 0.65 2175000 0.5180 2.1992
2.1778 0.65 2180000 0.5181 2.1992
2.1717 0.65 2185000 0.5183 2.1992
2.1752 0.66 2190000 0.5185 2.1973
2.1747 0.66 2195000 0.5185 2.1973
2.1754 0.66 2200000 0.5186 2.1973
2.1728 0.66 2205000 0.5188 2.1973
2.1684 0.66 2210000 0.5186 2.1973
2.1722 0.66 2215000 0.5188 2.1953
2.1692 0.67 2220000 0.5190 2.1953
2.176 0.67 2225000 0.5191 2.1953
2.1697 0.67 2230000 0.5190 2.1953
2.1731 0.67 2235000 0.5191 2.1953
2.173 0.67 2240000 0.5191 2.1934
2.1714 0.67 2245000 0.5193 2.1934
2.1719 0.67 2250000 0.5192 2.1934
2.1667 0.68 2255000 0.5190 2.1934
2.1653 0.68 2260000 0.5192 2.1934
2.1656 0.68 2265000 0.5193 2.1914
2.1695 0.68 2270000 0.5194 2.1914
2.17 0.68 2275000 0.5196 2.1914
2.1628 0.68 2280000 0.5197 2.1914
2.1648 0.68 2285000 0.5196 2.1895
2.1647 0.69 2290000 0.5199 2.1895
2.1648 0.69 2295000 0.5198 2.1895
2.168 0.69 2300000 0.5197 2.1895
2.1607 0.69 2305000 0.5198 2.1895
2.1674 0.69 2310000 0.5200 2.1875
2.1656 0.69 2315000 0.5200 2.1875
2.1637 0.7 2320000 0.5202 2.1875
2.1649 0.7 2325000 0.5201 2.1875
2.1625 0.7 2330000 0.5201 2.1875
2.1627 0.7 2335000 0.5203 2.1875
2.1598 0.7 2340000 0.5203 2.1855
2.1638 0.7 2345000 0.5201 2.1875
2.1588 0.7 2350000 0.5205 2.1855
2.1633 0.71 2355000 0.5205 2.1855
2.1621 0.71 2360000 0.5205 2.1855
2.165 0.71 2365000 0.5207 2.1836
2.159 0.71 2370000 0.5206 2.1836
2.1573 0.71 2375000 0.5207 2.1836
2.1556 0.71 2380000 0.5208 2.1836
2.1562 0.71 2385000 0.5210 2.1836
2.1572 0.72 2390000 0.5209 2.1836
2.1577 0.72 2395000 0.5209 2.1816
2.1529 0.72 2400000 0.5210 2.1816
2.1636 0.72 2405000 0.5211 2.1816
2.1521 0.72 2410000 0.5213 2.1816
2.1574 0.72 2415000 0.5214 2.1816
2.1546 0.72 2420000 0.5213 2.1797
2.1572 0.73 2425000 0.5212 2.1797
2.1544 0.73 2430000 0.5212 2.1797
2.15 0.73 2435000 0.5213 2.1797
2.1537 0.73 2440000 0.5217 2.1777
2.1552 0.73 2445000 0.5216 2.1777
2.1522 0.73 2450000 0.5215 2.1777
2.1487 0.74 2455000 0.5215 2.1777
2.1582 0.74 2460000 0.5215 2.1777
2.1582 0.74 2465000 0.5218 2.1777
2.1529 0.74 2470000 0.5218 2.1777
2.1549 0.74 2475000 0.5219 2.1758
2.1525 0.74 2480000 0.5219 2.1758
2.1478 0.74 2485000 0.5221 2.1758
2.1524 0.75 2490000 0.5220 2.1758
2.1477 0.75 2495000 0.5220 2.1738
2.1524 0.75 2500000 0.5222 2.1738
2.147 0.75 2505000 0.5222 2.1738
2.1481 0.75 2510000 0.5223 2.1738
2.1494 0.75 2515000 0.5223 2.1738
2.1484 0.75 2520000 0.5223 2.1738
2.1474 0.76 2525000 0.5223 2.1738
2.1487 0.76 2530000 0.5223 2.1738
2.1465 0.76 2535000 0.5225 2.1719
2.1456 0.76 2540000 0.5226 2.1719
2.1482 0.76 2545000 0.5224 2.1719
2.1451 0.76 2550000 0.5226 2.1719
2.143 0.77 2555000 0.5226 2.1719
2.1463 0.77 2560000 0.5225 2.1719
2.1466 0.77 2565000 0.5228 2.1699
2.1423 0.77 2570000 0.5229 2.1699
2.1423 0.77 2575000 0.5231 2.1699
2.1444 0.77 2580000 0.5230 2.1699
2.1402 0.77 2585000 0.5230 2.1680
2.1376 0.78 2590000 0.5231 2.1680
2.1395 0.78 2595000 0.5232 2.1680
2.1399 0.78 2600000 0.5233 2.1680
2.1379 0.78 2605000 0.5231 2.1680
2.1411 0.78 2610000 0.5234 2.1660
2.1421 0.78 2615000 0.5232 2.1660
2.1412 0.78 2620000 0.5237 2.1660
2.1381 0.79 2625000 0.5236 2.1660
2.142 0.79 2630000 0.5236 2.1660
2.1394 0.79 2635000 0.5236 2.1641
2.1384 0.79 2640000 0.5234 2.1641
2.138 0.79 2645000 0.5236 2.1641
2.1346 0.79 2650000 0.5239 2.1641
2.1376 0.8 2655000 0.5239 2.1641
2.1409 0.8 2660000 0.5240 2.1641
2.1343 0.8 2665000 0.5240 2.1641
2.1363 0.8 2670000 0.5240 2.1621
2.1343 0.8 2675000 0.5242 2.1621
2.1381 0.8 2680000 0.5243 2.1621
2.1355 0.8 2685000 0.5241 2.1621
2.1394 0.81 2690000 0.5242 2.1602
2.1359 0.81 2695000 0.5245 2.1602
2.1365 0.81 2700000 0.5244 2.1602
2.131 0.81 2705000 0.5244 2.1602
2.1337 0.81 2710000 0.5244 2.1602
2.1307 0.81 2715000 0.5246 2.1582
2.1333 0.81 2720000 0.5247 2.1582
2.1354 0.82 2725000 0.5246 2.1582
2.1372 0.82 2730000 0.5248 2.1582
2.1323 0.82 2735000 0.5248 2.1582
2.1315 0.82 2740000 0.5249 2.1562
2.1341 0.82 2745000 0.5249 2.1562
2.132 0.82 2750000 0.5250 2.1562
2.1322 0.83 2755000 0.5252 2.1562
2.1298 0.83 2760000 0.5252 2.1562
2.1285 0.83 2765000 0.5252 2.1543
2.1299 0.83 2770000 0.5252 2.1562
2.1304 0.83 2775000 0.5253 2.1543
2.1288 0.83 2780000 0.5254 2.1543
2.1295 0.83 2785000 0.5253 2.1543
2.129 0.84 2790000 0.5255 2.1543
2.1285 0.84 2795000 0.5254 2.1543
2.1292 0.84 2800000 0.5253 2.1543
2.1278 0.84 2805000 0.5256 2.1523
2.1239 0.84 2810000 0.5255 2.1523
2.1241 0.84 2815000 0.5259 2.1523
2.1232 0.84 2820000 0.5257 2.1523
2.1241 0.85 2825000 0.5257 2.1504
2.1236 0.85 2830000 0.5259 2.1504
2.1272 0.85 2835000 0.5259 2.1504
2.1271 0.85 2840000 0.5261 2.1504
2.1249 0.85 2845000 0.5262 2.1484
2.1245 0.85 2850000 0.5260 2.1484
2.1222 0.86 2855000 0.5261 2.1484
2.125 0.86 2860000 0.5263 2.1484
2.1261 0.86 2865000 0.5261 2.1484
2.1247 0.86 2870000 0.5262 2.1484
2.1225 0.86 2875000 0.5263 2.1484
2.122 0.86 2880000 0.5261 2.1484
2.1237 0.86 2885000 0.5261 2.1465
2.1219 0.87 2890000 0.5262 2.1465
2.1248 0.87 2895000 0.5262 2.1465
2.1191 0.87 2900000 0.5264 2.1465
2.1181 0.87 2905000 0.5264 2.1465
2.1176 0.87 2910000 0.5263 2.1465
2.1191 0.87 2915000 0.5267 2.1465
2.1206 0.87 2920000 0.5268 2.1445
2.1148 0.88 2925000 0.5267 2.1445
2.1188 0.88 2930000 0.5270 2.1445
2.1118 0.88 2935000 0.5270 2.1445
2.1283 0.88 2940000 2.1582 0.5244
2.1336 0.88 2945000 2.1621 0.5240
2.1311 0.88 2950000 2.1621 0.5237
2.1377 0.89 2955000 2.1641 0.5236
2.136 0.89 2960000 2.1641 0.5236
2.1394 0.89 2965000 2.1641 0.5233
2.1405 0.89 2970000 2.1660 0.5233
2.1391 0.89 2975000 2.1660 0.5236
2.1353 0.89 2980000 2.1660 0.5234
2.1392 0.89 2985000 2.1660 0.5234
2.1384 0.9 2990000 2.1660 0.5235
2.1373 0.9 2995000 2.1660 0.5233
2.1346 0.9 3000000 2.1660 0.5234
2.1368 0.9 3005000 2.1660 0.5235
2.1383 0.9 3010000 2.1660 0.5233
2.1447 0.9 3015000 2.1660 0.5233
2.1392 0.9 3020000 2.1660 0.5234
2.1359 0.91 3025000 2.1660 0.5233
2.1408 0.91 3030000 2.1660 0.5233
2.1437 0.91 3035000 2.1660 0.5233
2.1354 0.91 3040000 2.1660 0.5233
2.1371 0.91 3045000 2.1660 0.5235
2.1399 0.91 3050000 2.1660 0.5234
2.1387 0.92 3055000 2.1660 0.5234
2.1406 0.92 3060000 2.1660 0.5232
2.1387 0.92 3065000 2.1660 0.5235
2.1413 0.92 3070000 2.1660 0.5235
2.1371 0.92 3075000 2.1641 0.5235
2.138 0.92 3080000 2.1641 0.5235
2.1385 0.92 3085000 2.1641 0.5236
2.135 0.93 3090000 2.1660 0.5234
2.1401 0.93 3095000 2.1641 0.5236
2.1374 0.93 3100000 2.1641 0.5236
2.1358 0.93 3105000 2.1641 0.5237
2.1344 0.93 3110000 2.1621 0.5239
2.1368 0.93 3115000 2.1621 0.5239
2.1345 0.93 3120000 2.1621 0.5237
2.1358 0.94 3125000 2.1621 0.5239
2.1395 0.94 3130000 2.1621 0.5239
2.1359 0.94 3135000 2.1621 0.5243
2.1373 0.94 3140000 2.1602 0.5242
2.1357 0.94 3145000 2.1602 0.5243
2.1354 0.94 3150000 2.1602 0.5244
2.1323 0.95 3155000 2.1602 0.5244
2.133 0.95 3160000 2.1602 0.5242
2.1315 0.95 3165000 2.1602 0.5244
2.1363 0.95 3170000 2.1602 0.5243
2.1349 0.95 3175000 2.1602 0.5245
2.1336 0.95 3180000 2.1602 0.5244
2.1364 0.95 3185000 2.1582 0.5244
2.133 0.96 3190000 2.1582 0.5243
2.1349 0.96 3195000 2.1582 0.5245
2.134 0.96 3200000 2.1582 0.5246
2.1308 0.96 3205000 2.1562 0.5249
2.1302 0.96 3210000 2.1562 0.5247
2.1302 0.96 3215000 2.1562 0.5247
2.1331 0.96 3220000 2.1562 0.5248
2.1273 0.97 3225000 2.1562 0.5247
2.1286 0.97 3230000 2.1562 0.5250
2.1282 0.97 3235000 2.1543 0.5250
2.1309 0.97 3240000 2.1543 0.5251
2.1295 0.97 3245000 2.1543 0.5254
2.1275 0.97 3250000 2.1543 0.5254
2.133 0.98 3255000 2.1543 0.5254
2.1301 0.98 3260000 2.1543 0.5251
2.1314 0.98 3265000 2.1523 0.5253
2.1258 0.98 3270000 2.1523 0.5255
2.1286 0.98 3275000 2.1523 0.5254
2.1267 0.98 3280000 2.1523 0.5254
2.13 0.98 3285000 2.1523 0.5254
2.1284 0.99 3290000 2.1523 0.5255
2.1295 0.99 3295000 2.1523 0.5254
2.1241 0.99 3300000 2.1523 0.5256
2.1297 0.99 3305000 2.1523 0.5258
2.126 0.99 3310000 2.1504 0.5256
2.1263 0.99 3315000 2.1504 0.5256
2.1273 0.99 3320000 2.1504 0.5256
2.1214 1.0 3325000 2.1504 0.5255
2.1275 1.0 3330000 2.1504 0.5256
2.1227 1.0 3335000 2.1504 0.5258

Framework versions

  • Transformers 4.30.2
  • Pytorch 2.0.0
  • Datasets 2.13.1
  • Tokenizers 0.13.3