whisper-large-v2-lug-eng-extended

This model is a fine-tuned version of openai/whisper-large-v2 on the generator dataset. It achieves the following results on the evaluation set:

• Loss: 0.1374
• Wer Eng: 0.028
• Wer Lug: 0.15
• Wer Mean: 0.089
• Cer Eng: 0.013
• Cer Lug: 0.04
• Cer Mean: 0.027

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 16
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 10
• training_steps: 5000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer Eng	Wer Lug	Wer Mean	Cer Eng	Cer Lug	Cer Mean
0.3746	0.02	100	0.1615	0.029	0.197	0.113	0.014	0.053	0.034
0.4082	0.04	200	0.1703	0.044	0.235	0.14	0.022	0.062	0.042
0.4169	0.06	300	0.1744	0.036	0.197	0.116	0.017	0.049	0.033
0.3956	0.08	400	0.1714	0.038	0.205	0.121	0.019	0.049	0.034
0.4083	0.1	500	0.1730	0.032	0.215	0.124	0.016	0.052	0.034
0.3946	0.12	600	0.1706	0.037	0.208	0.122	0.014	0.049	0.032
0.4188	0.14	700	0.1670	0.035	0.215	0.125	0.014	0.051	0.033
0.4372	0.16	800	0.1633	0.036	0.224	0.13	0.018	0.051	0.034
0.4245	0.18	900	0.1705	0.037	0.228	0.133	0.019	0.057	0.038
0.4222	0.2	1000	0.1642	0.032	0.206	0.119	0.015	0.05	0.033
0.4152	0.22	1100	0.1602	0.037	0.197	0.117	0.017	0.047	0.032
0.4091	0.24	1200	0.1653	0.035	0.191	0.113	0.015	0.046	0.03
0.4183	0.26	1300	0.1607	0.037	0.188	0.113	0.019	0.045	0.032
0.3596	1.0195	1400	0.1578	0.035	0.179	0.107	0.017	0.049	0.033
0.3566	1.0395	1500	0.1568	0.032	0.194	0.113	0.015	0.048	0.031
0.3901	1.0595	1600	0.1579	0.041	0.187	0.114	0.018	0.043	0.031
0.3511	1.0795	1700	0.1768	0.04	0.19	0.115	0.019	0.051	0.035
0.3997	1.0995	1800	0.1580	0.036	0.173	0.104	0.016	0.043	0.03
0.3626	1.1195	1900	0.1583	0.035	0.169	0.102	0.015	0.043	0.029
0.372	1.1395	2000	0.1535	0.034	0.179	0.106	0.017	0.047	0.032
0.3578	1.1595	2100	0.1528	0.031	0.197	0.114	0.016	0.05	0.033
0.3697	1.1795	2200	0.1533	0.038	0.198	0.118	0.016	0.051	0.034
0.3651	1.1995	2300	0.1515	0.031	0.187	0.109	0.014	0.059	0.037
0.366	1.2195	2400	0.1466	0.032	0.164	0.098	0.014	0.046	0.03
0.4013	1.2395	2500	0.1490	0.036	0.169	0.102	0.016	0.045	0.03
0.337	1.2595	2600	0.1505	0.03	0.187	0.109	0.015	0.051	0.033
0.2846	2.019	2700	0.1533	0.034	0.177	0.105	0.015	0.044	0.03
0.2825	2.039	2800	0.1475	0.03	0.168	0.099	0.013	0.041	0.027
0.3233	2.059	2900	0.1444	0.032	0.168	0.1	0.015	0.041	0.028
0.3075	2.079	3000	0.1416	0.029	0.171	0.1	0.012	0.042	0.027
0.2988	2.099	3100	0.1421	0.028	0.176	0.102	0.012	0.046	0.029
0.2782	2.1190	3200	0.1414	0.026	0.16	0.093	0.011	0.044	0.027
0.3123	2.1390	3300	0.1494	0.025	0.172	0.098	0.01	0.044	0.027
0.2839	2.159	3400	0.1443	0.03	0.155	0.093	0.015	0.04	0.027
0.2812	2.179	3500	0.1449	0.025	0.168	0.096	0.013	0.045	0.029
0.3022	2.199	3600	0.1453	0.03	0.143	0.087	0.015	0.036	0.025
0.2753	2.219	3700	0.1428	0.025	0.164	0.094	0.01	0.042	0.026
0.3011	2.239	3800	0.1398	0.034	0.15	0.092	0.015	0.037	0.026
0.2895	2.259	3900	0.1405	0.028	0.162	0.095	0.012	0.044	0.028
0.2503	3.0185	4000	0.1400	0.029	0.161	0.095	0.012	0.043	0.028
0.236	3.0385	4100	0.1412	0.03	0.161	0.096	0.013	0.042	0.028
0.2366	3.0585	4200	0.1417	0.03	0.16	0.095	0.013	0.042	0.028
0.2393	3.0785	4300	0.1396	0.028	0.147	0.088	0.013	0.037	0.025
0.2348	3.0985	4400	0.1419	0.028	0.154	0.091	0.012	0.04	0.026
0.2221	3.1185	4500	0.1364	0.031	0.146	0.089	0.013	0.039	0.026
0.2375	3.1385	4600	0.1393	0.028	0.149	0.088	0.014	0.038	0.026
0.2383	3.1585	4700	0.1385	0.021	0.15	0.085	0.01	0.04	0.025
0.2269	3.1785	4800	0.1376	0.03	0.143	0.087	0.014	0.038	0.026
0.2351	3.1985	4900	0.1372	0.028	0.157	0.092	0.013	0.041	0.027
0.2315	3.2185	5000	0.1374	0.028	0.15	0.089	0.013	0.04	0.027

Framework versions

• PEFT 0.12.1.dev0
• Transformers 4.45.0.dev0
• Pytorch 2.2.0
• Datasets 2.21.0
• Tokenizers 0.19.1