Hugging Face's logo

vodiylik
/
xls-r-uzbek-cv10-full

Automatic Speech Recognition
Transformers
PyTorch
TensorBoard
Safetensors
Uzbek
wav2vec2
pretraining
mozilla-foundation/common_voice_10_0
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
2
xls-r-uzbek-cv10-full / README.md
vodiylik's picture
vodiylik
Librarian Bot: Add base_model information to model (#2)
6f2b42f
preview code
|
raw
history blame contribute delete
12 kB
metadata
language:
  - uz
license: apache-2.0
tags:
  - automatic-speech-recognition
  - mozilla-foundation/common_voice_10_0
  - generated_from_trainer
datasets:
  - common_voice_10_0
base_model: facebook/wav2vec2-xls-r-300m
model-index:
  - name: xls-r-uzbek-cv10
    results: []

xls-r-uzbek-cv10

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the MOZILLA-FOUNDATION/COMMON_VOICE_10_0 - UZ dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2491
  • Wer: 0.2588
  • Cer: 0.0513

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 100.0
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Cer Validation Loss Wer
3.1215 0.68 500 1.0 3.1188 1.0
2.8562 1.36 1000 0.9689 2.5724 1.0002
1.2709 2.04 1500 0.1471 0.6278 0.6478
1.0817 2.72 2000 0.1304 0.4989 0.5931
0.9801 3.4 2500 0.1225 0.4582 0.5667
0.951 4.08 3000 0.1149 0.4239 0.5381
0.8834 4.76 3500 0.1092 0.4016 0.5158
0.857 5.44 4000 0.1047 0.3785 0.4992
0.8307 6.12 4500 0.1004 0.3720 0.4811
0.805 6.8 5000 0.0937 0.3450 0.4537
0.7828 7.48 5500 0.0912 0.3421 0.4460
0.7789 8.16 6000 0.0890 0.3295 0.4337
0.755 8.84 6500 0.0862 0.3257 0.4222
0.7464 9.52 7000 0.0847 0.3269 0.4155
0.7293 10.2 7500 0.0823 0.3121 0.4025
0.7283 10.88 8000 0.0789 0.2991 0.3941
0.7145 11.56 8500 0.0786 0.2961 0.3868
0.6963 12.24 9000 0.0767 0.2972 0.3784
0.6981 12.92 9500 0.0757 0.2880 0.3750
0.6888 13.6 10000 0.0745 0.2865 0.3703
0.6733 14.29 10500 0.0744 0.2887 0.3663
0.6701 14.97 11000 0.0735 0.2857 0.3624
0.6634 15.65 11500 0.0723 0.2822 0.3581
0.6484 16.33 12000 0.0706 0.2778 0.3503
0.6626 17.01 12500 0.0697 0.2697 0.3477
0.6341 17.69 13000 0.0708 0.2804 0.3511
0.6402 18.37 13500 0.0681 0.2665 0.3418
0.6343 19.05 14000 0.0687 0.2748 0.3425
0.6383 19.73 14500 0.0677 0.2696 0.3383
0.6178 20.41 15000 0.0690 0.2743 0.3417
0.6097 21.09 15500 0.0671 0.2663 0.3352
0.6245 21.77 16000 0.0665 0.2685 0.3318
0.6137 22.45 16500 0.0655 0.2700 0.3262
0.6018 23.13 17000 0.0652 0.2657 0.3225
0.6063 23.81 17500 0.0663 0.2664 0.3276
0.5917 24.49 18000 0.0658 0.2725 0.3264
0.5984 25.17 18500 0.0643 0.2593 0.3197
0.5949 25.85 19000 0.0635 0.2581 0.3161
0.5863 26.53 19500 0.0639 0.2543 0.3196
0.5858 27.21 20000 0.0628 0.2620 0.3136
0.5902 27.89 20500 0.0627 0.2549 0.3157
0.5794 28.57 21000 0.0624 0.2543 0.3136
0.5744 29.25 21500 0.0620 0.2542 0.3091
0.5899 29.93 22000 0.0624 0.2540 0.3122
0.5597 30.61 22500 0.0609 0.2500 0.3057
0.5595 31.29 23000 0.0616 0.2539 0.3087
0.5664 31.97 23500 0.0610 0.2504 0.3070
0.5608 32.65 24000 0.0611 0.2535 0.3066
0.5557 33.33 24500 0.0608 0.2538 0.3047
0.5741 34.01 25000 0.0596 0.2480 0.3009
0.5614 34.69 25500 0.0601 0.2516 0.3033
0.5436 35.37 26000 0.0601 0.2540 0.3004
0.555 36.05 26500 0.0595 0.2486 0.2993
0.5474 36.73 27000 0.0598 0.2536 0.3003
0.5352 37.41 27500 0.0597 0.2589 0.2986
0.5489 38.1 28000 0.0586 0.2485 0.2925
0.5438 38.77 28500 0.0581 0.2500 0.2908
0.541 39.46 29000 0.0577 0.2451 0.2879
0.5462 40.14 29500 0.0581 0.2510 0.2935
0.529 40.82 30000 0.0575 0.2435 0.2879
0.5169 41.5 30500 0.0572 0.2474 0.2860
0.5281 42.18 31000 0.0575 0.2478 0.2884
0.527 42.86 31500 0.0568 0.2492 0.2845
0.5172 43.54 32000 0.0575 0.2451 0.2885
0.5154 44.22 32500 0.0574 0.2490 0.2873
0.5129 44.9 33000 0.0569 0.2446 0.2853
0.5075 45.58 33500 0.0565 0.2485 0.2828
0.5077 46.26 34000 0.0559 0.2452 0.2807
0.5004 46.94 34500 0.0572 0.2501 0.2882
0.5319 47.62 35000 0.0575 0.2516 0.2856
0.4956 48.3 35500 0.0567 0.2495 0.2821
0.5053 48.98 36000 0.0565 0.2482 0.2825
0.5014 49.66 36500 0.0559 0.2441 0.2808
0.4945 50.34 37000 0.0562 0.2460 0.2807
0.51 51.02 37500 0.0547 0.2434 0.2741
0.5095 51.7 38000 0.0558 0.2434 0.2790
0.5026 52.38 38500 0.0560 0.2478 0.2787
0.5081 53.06 39000 0.0566 0.2485 0.2821
0.5021 53.74 39500 0.0551 0.2410 0.2752
0.4945 54.42 40000 0.0552 0.2436 0.2766
0.4882 55.1 40500 0.0555 0.2438 0.2769
0.497 55.78 41000 0.0550 0.2423 0.2758
0.4925 56.46 41500 0.0560 0.2474 0.2790
0.4894 57.14 42000 0.0559 0.2497 0.2797
0.4767 57.82 42500 0.0556 0.2528 0.2800
0.4796 58.5 43000 0.0549 0.2463 0.2755
0.4767 59.18 43500 0.0548 0.2452 0.2753
0.4786 59.86 44000 0.0551 0.2480 0.2769
0.4804 60.54 44500 0.0556 0.2514 0.2789
0.4794 61.22 45000 0.0539 0.2391 0.2715
0.4789 61.9 45500 0.0546 0.2461 0.2725
0.4683 62.58 46000 0.0541 0.2444 0.2707
0.4721 63.27 46500 0.0539 0.2468 0.2693
0.4792 63.94 47000 0.0546 0.2479 0.2738
0.4712 64.63 47500 0.0547 0.2466 0.2742
0.4607 65.31 48000 0.0539 0.2503 0.2707
0.4712 65.99 48500 0.0543 0.2458 0.2718
0.4647 66.67 49000 0.0538 0.2474 0.2693
0.4736 67.35 49500 0.0541 0.2514 0.2696
0.4718 68.03 50000 0.0540 0.2506 0.2692
0.4695 68.71 50500 0.0538 0.2499 0.2675
0.4549 69.39 51000 0.0534 0.2491 0.2669
0.4605 70.07 51500 0.0532 0.2497 0.2660
0.4538 70.75 52000 0.0536 0.2472 0.2684
0.4571 71.43 52500 0.0523 0.2441 0.2629
0.4608 72.11 53000 0.0529 0.2469 0.2652
0.4541 72.79 53500 0.0533 0.2498 0.2673
0.4424 73.47 54000 0.0530 0.2504 0.2658
0.4482 74.15 54500 0.0534 0.2517 0.2684
0.4554 74.83 55000 0.0529 0.2471 0.2656
0.444 75.51 55500 0.0535 0.2493 0.2675
0.4464 76.19 56000 0.0524 0.2461 0.2635
0.4436 76.87 56500 0.0526 0.2479 0.2641
0.4432 77.55 57000 0.0526 0.2513 0.2641
0.4459 78.23 57500 0.0521 0.2460 0.2625
0.4433 78.91 58000 0.0521 0.2457 0.2622
0.4407 79.59 58500 0.0528 0.2531 0.2659
0.4389 80.27 59000 0.0521 0.2485 0.2631
0.4384 80.95 59500 0.0522 0.2502 0.2653
0.4306 81.63 60000 0.0528 0.2480 0.2665
0.4505 82.31 60500 0.0523 0.2461 0.2637
0.4442 82.99 61000 0.0523 0.2519 0.2641
0.4349 83.67 61500 0.0522 0.2509 0.2625
0.4398 84.35 62000 0.0523 0.2510 0.2659
0.4398 85.03 62500 0.0526 0.2507 0.2648
0.4355 85.71 63000 0.0523 0.2500 0.2653
0.4373 86.39 63500 0.0524 0.2523 0.2650
0.4391 87.07 64000 0.0523 0.2509 0.2635
0.4381 87.75 64500 0.0521 0.2502 0.2635
0.4297 88.43 65000 0.0521 0.2521 0.2632
0.44 89.12 65500 0.0520 0.2507 0.2624
0.4313 89.8 66000 0.0519 0.2497 0.2623
0.4402 90.48 66500 0.0517 0.2488 0.2608
0.4324 91.16 67000 0.0512 0.2485 0.2585
0.4317 91.84 67500 0.0513 0.2488 0.2587
0.437 92.52 68000 0.0513 0.2473 0.2590
0.4389 93.2 68500 0.0512 0.2472 0.2581
0.4428 93.88 69000 0.0512 0.2475 0.2587
0.4294 94.56 69500 0.0513 0.2489 0.2596
0.4247 95.24 70000 0.0515 0.2499 0.2597
0.4309 95.92 70500 0.0514 0.2493 0.2590
0.4366 96.6 71000 0.0512 0.2492 0.2592
0.4245 97.28 71500 0.0513 0.2493 0.2587
0.4346 97.96 72000 0.0512 0.2478 0.2583
0.4289 98.64 72500 0.0512 0.2489 0.2585
0.4246 99.32 73000 0.0513 0.2487 0.2589
0.4241 100.0 73500 0.0513 0.2491 0.2588

Framework versions

  • Transformers 4.16.2
  • Pytorch 1.12.0
  • Datasets 2.4.0
  • Tokenizers 0.10.3

Credits

Author: Shukrullo Turgunov (aka Vodiylik)