Hugging Face's logo

akera
/
whisper-medium-sb-lug-eng-v2

Automatic Speech Recognition
Transformers
Safetensors
whisper
Generated from Trainer
Inference Endpoints
Model card Files Community
whisper-medium-sb-lug-eng-v2 / README.md
akera's picture
akera
Training in progress, step 500
cadcf0d verified
preview code
|
raw
history blame
8.49 kB
metadata
base_model: openai/whisper-medium
datasets:
  - generator
license: apache-2.0
tags:
  - generated_from_trainer
model-index:
  - name: whisper-medium-sb-lug-eng
    results: []

whisper-medium-sb-lug-eng

This model is a fine-tuned version of openai/whisper-medium on the generator dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1720
  • Wer Lug: 0.81
  • Wer Eng: 0.068
  • Wer Mean: 0.439
  • Cer Lug: 0.494
  • Cer Eng: 0.039
  • Cer Mean: 0.267

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 16
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • training_steps: 30000
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer Lug Wer Eng Wer Mean Cer Lug Cer Eng Cer Mean
0.9804 0.0167 500 0.3683 0.692 0.043 0.368 0.203 0.019 0.111
0.7775 0.0333 1000 0.2594 0.725 0.044 0.385 0.395 0.019 0.207
0.6492 0.05 1500 0.2316 0.649 0.041 0.345 0.263 0.02 0.142
0.6128 0.0667 2000 0.2111 0.513 0.04 0.277 0.197 0.018 0.108
0.543 0.0833 2500 0.2023 0.579 0.043 0.311 0.239 0.018 0.129
0.5461 0.1 3000 0.1932 0.425 0.04 0.233 0.138 0.019 0.078
0.5545 0.1167 3500 0.1836 0.624 0.043 0.334 0.381 0.021 0.201
0.4895 0.1333 4000 0.1802 0.407 0.043 0.225 0.156 0.022 0.089
0.4922 0.15 4500 0.1771 0.377 0.051 0.214 0.136 0.033 0.084
0.521 0.1667 5000 0.1817 0.316 0.049 0.183 0.097 0.028 0.062
0.3948 1.0153 5500 0.1724 0.422 0.079 0.251 0.17 0.057 0.113
0.3914 1.032 6000 0.1727 0.744 0.04 0.392 0.651 0.018 0.334
0.3807 1.0487 6500 0.1730 0.585 0.053 0.319 0.428 0.028 0.228
0.395 1.0653 7000 0.1701 0.737 0.043 0.39 0.635 0.024 0.329
0.3774 1.082 7500 0.1654 0.545 0.046 0.296 0.396 0.024 0.21
0.4017 1.0987 8000 0.1626 0.465 0.046 0.256 0.28 0.024 0.152
0.3901 1.1153 8500 0.1593 0.516 0.051 0.283 0.25 0.026 0.138
0.3829 1.1320 9000 0.1608 0.48 0.049 0.264 0.247 0.024 0.135
0.3536 1.1487 9500 0.1657 0.37 0.043 0.207 0.143 0.021 0.082
0.3506 1.1653 10000 0.1606 0.395 0.041 0.218 0.172 0.021 0.097
0.2737 2.014 10500 0.1604 0.457 0.07 0.263 0.235 0.044 0.139
0.3073 2.0307 11000 0.1626 0.458 0.046 0.252 0.243 0.022 0.132
0.2906 2.0473 11500 0.1581 0.444 0.062 0.253 0.222 0.038 0.13
0.2882 2.064 12000 0.1591 0.519 0.053 0.286 0.3 0.024 0.162
0.2642 2.0807 12500 0.1630 0.547 0.05 0.299 0.293 0.029 0.161
0.2848 2.0973 13000 0.1627 0.509 0.055 0.282 0.244 0.03 0.137
0.2887 2.114 13500 0.1585 0.524 0.067 0.296 0.28 0.047 0.163
0.2879 2.1307 14000 0.1593 0.646 0.065 0.356 0.355 0.045 0.2
0.2955 2.1473 14500 0.1581 0.873 0.062 0.468 0.512 0.038 0.275
0.2639 2.164 15000 0.1533 0.772 0.057 0.414 0.454 0.037 0.245
0.2111 3.0127 15500 0.1622 0.776 0.074 0.425 0.518 0.046 0.282
0.2299 3.0293 16000 0.1628 0.849 0.061 0.455 0.559 0.036 0.297
0.2279 3.046 16500 0.1633 0.803 0.064 0.434 0.632 0.036 0.334
0.2339 3.0627 17000 0.1617 0.845 0.045 0.445 0.553 0.022 0.288
0.2387 3.0793 17500 0.1599 0.773 0.055 0.414 0.436 0.029 0.232
0.2098 3.096 18000 0.1616 0.675 0.059 0.367 0.45 0.037 0.243
0.2201 3.1127 18500 0.1619 0.713 0.066 0.389 0.476 0.039 0.257
0.2312 3.1293 19000 0.1603 0.994 0.053 0.524 0.605 0.03 0.318
0.2389 3.146 19500 0.1572 0.751 0.054 0.403 0.455 0.032 0.244
0.2183 3.1627 20000 0.1635 0.667 0.056 0.362 0.42 0.034 0.227
0.1707 4.0113 20500 0.1654 0.682 0.05 0.366 0.433 0.026 0.23
0.1874 4.028 21000 0.1641 0.744 0.054 0.399 0.425 0.03 0.228
0.1836 4.0447 21500 0.1666 0.651 0.063 0.357 0.397 0.039 0.218
0.1847 4.0613 22000 0.1635 0.788 0.069 0.429 0.502 0.044 0.273
0.1742 4.078 22500 0.1651 0.695 0.051 0.373 0.4 0.027 0.214
0.1733 4.0947 23000 0.1652 0.678 0.064 0.371 0.427 0.039 0.233
0.1651 4.1113 23500 0.1659 0.666 0.071 0.369 0.458 0.046 0.252
0.1924 4.128 24000 0.1664 0.792 0.069 0.431 0.486 0.046 0.266
0.1828 4.1447 24500 0.1670 0.746 0.068 0.407 0.538 0.043 0.291
0.165 4.1613 25000 0.1675 0.746 0.072 0.409 0.469 0.047 0.258
0.1437 5.01 25500 0.1706 0.728 0.066 0.397 0.481 0.04 0.261
0.148 5.0267 26000 0.1700 0.755 0.069 0.412 0.457 0.041 0.249
0.1509 5.0433 26500 0.1700 0.787 0.068 0.427 0.497 0.039 0.268
0.1442 5.06 27000 0.1715 0.762 0.068 0.415 0.47 0.039 0.254
0.1282 5.0767 27500 0.1698 0.796 0.064 0.43 0.477 0.037 0.257
0.1377 5.0933 28000 0.1710 0.796 0.068 0.432 0.481 0.04 0.261
0.1456 5.11 28500 0.1719 0.758 0.07 0.414 0.481 0.04 0.26
0.143 5.1267 29000 0.1716 0.795 0.07 0.433 0.488 0.04 0.264
0.1484 5.1433 29500 0.1719 0.812 0.069 0.44 0.492 0.04 0.266
0.1463 5.16 30000 0.1720 0.81 0.068 0.439 0.494 0.039 0.267

Framework versions

  • Transformers 4.42.4
  • Pytorch 2.2.0
  • Datasets 2.20.0
  • Tokenizers 0.19.1