hubert-large-ll60k-librispeech-multi-gpu

This model is a fine-tuned version of facebook/hubert-large-ll60k on the MACABDUL9/LIBRISPEECH-HUBERT-DISCRETE-TOKENS - NA dataset. It achieves the following results on the evaluation set:

• Loss: 0.0616
• Wer: 0.0460

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 2
• eval_batch_size: 8
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• total_train_batch_size: 8
• total_eval_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 4.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
2.9692	0.03	100	2.9336	1.0
2.7936	0.06	200	2.8514	1.0
0.8892	0.08	300	0.7173	0.5438
0.4725	0.11	400	0.4293	0.3818
0.5347	0.14	500	0.3474	0.3284
0.3143	0.17	600	0.2966	0.2852
0.4144	0.2	700	0.2498	0.2383
0.516	0.22	800	0.2156	0.2174
0.2537	0.25	900	0.1810	0.1877
0.3008	0.28	1000	0.1699	0.1737
0.3078	0.31	1100	0.1485	0.1600
0.2922	0.34	1200	0.1444	0.1448
0.2303	0.36	1300	0.1319	0.1334
0.1858	0.39	1400	0.1286	0.1353
0.0837	0.42	1500	0.1162	0.1262
0.177	0.45	1600	0.1097	0.1100
0.3476	0.48	1700	0.1140	0.1114
0.2538	0.5	1800	0.1118	0.1086
0.1296	0.53	1900	0.1052	0.1016
0.3905	0.56	2000	0.1034	0.0950
0.2085	0.59	2100	0.1001	0.1003
0.3563	0.62	2200	0.0974	0.0958
0.1258	0.64	2300	0.1067	0.1018
0.0972	0.67	2400	0.0938	0.0930
0.2588	0.7	2500	0.0913	0.0861
0.2066	0.73	2600	0.0946	0.0902
0.1706	0.76	2700	0.0944	0.0956
0.1129	0.78	2800	0.0918	0.0904
0.1805	0.81	2900	0.0913	0.0890
0.2328	0.84	3000	0.0907	0.0893
0.2699	0.87	3100	0.0918	0.0849
0.1653	0.9	3200	0.0902	0.0827
0.2637	0.92	3300	0.0873	0.0836
0.2511	0.95	3400	0.0902	0.0851
0.2053	0.98	3500	0.0907	0.0842
0.0719	1.01	3600	0.0808	0.0752
0.0633	1.04	3700	0.0874	0.0775
0.063	1.07	3800	0.0855	0.0757
0.0653	1.09	3900	0.0916	0.0766
0.0381	1.12	4000	0.0864	0.0756
0.0457	1.15	4100	0.0850	0.0761
0.0399	1.18	4200	0.0842	0.0842
0.0403	1.21	4300	0.0834	0.0754
0.0462	1.23	4400	0.0833	0.0753
0.0312	1.26	4500	0.0815	0.0731
0.0432	1.29	4600	0.0812	0.0748
0.032	1.32	4700	0.0783	0.0683
0.0502	1.35	4800	0.0786	0.0699
0.0743	1.37	4900	0.0839	0.0678
0.0229	1.4	5000	0.0771	0.0664
0.0672	1.43	5100	0.0782	0.0662
0.0758	1.46	5200	0.0808	0.0696
0.0309	1.49	5300	0.0783	0.0710
0.043	1.51	5400	0.0748	0.0682
0.076	1.54	5500	0.0778	0.0685
0.041	1.57	5600	0.0792	0.0726
0.0784	1.6	5700	0.0763	0.0639
0.097	1.63	5800	0.0751	0.0668
0.0915	1.65	5900	0.0748	0.0661
0.0511	1.68	6000	0.0767	0.0641
0.0254	1.71	6100	0.0754	0.0656
0.024	1.74	6200	0.0732	0.0657
0.041	1.77	6300	0.0713	0.0673
0.034	1.79	6400	0.0686	0.0647
0.0604	1.82	6500	0.0733	0.0658
0.0456	1.85	6600	0.0743	0.0658
0.0431	1.88	6700	0.0760	0.0637
0.1149	1.91	6800	0.0757	0.0620
0.0431	1.93	6900	0.0727	0.0618
0.0425	1.96	7000	0.0717	0.0619
0.0452	1.99	7100	0.0708	0.0637
0.0172	2.02	7200	0.0740	0.0620
0.0413	2.05	7300	0.0695	0.0628
0.018	2.07	7400	0.0749	0.0626
0.0303	2.1	7500	0.0723	0.0625
0.0196	2.13	7600	0.0741	0.0629
0.015	2.16	7700	0.0699	0.0583
0.0145	2.19	7800	0.0735	0.0602
0.0287	2.21	7900	0.0726	0.0619
0.0735	2.24	8000	0.0705	0.0576
0.0161	2.27	8100	0.0715	0.0563
0.0549	2.3	8200	0.0692	0.0563
0.0227	2.33	8300	0.0715	0.0545
0.0156	2.35	8400	0.0702	0.0536
0.045	2.38	8500	0.0672	0.0533
0.0286	2.41	8600	0.0670	0.0537
0.0176	2.44	8700	0.0693	0.0554
0.0128	2.47	8800	0.0696	0.0549
0.0279	2.49	8900	0.0685	0.0541
0.0328	2.52	9000	0.0674	0.0574
0.0416	2.55	9100	0.0674	0.0581
0.0364	2.58	9200	0.0642	0.0540
0.0223	2.61	9300	0.0686	0.0544
0.0162	2.63	9400	0.0680	0.0521
0.0392	2.66	9500	0.0646	0.0512
0.027	2.69	9600	0.0663	0.0544
0.0192	2.72	9700	0.0654	0.0529
0.0339	2.75	9800	0.0654	0.0526
0.0269	2.77	9900	0.0651	0.0545
0.0263	2.8	10000	0.0636	0.0521
0.0444	2.83	10100	0.0650	0.0520
0.0322	2.86	10200	0.0622	0.0513
0.0171	2.89	10300	0.0641	0.0516
0.0121	2.91	10400	0.0633	0.0515
0.0347	2.94	10500	0.0610	0.0518
0.0432	2.97	10600	0.0605	0.0512
0.0187	3.0	10700	0.0623	0.0501
0.0147	3.03	10800	0.0652	0.0486
0.0112	3.05	10900	0.0648	0.05
0.0146	3.08	11000	0.0638	0.0514
0.0064	3.11	11100	0.0665	0.0486
0.0223	3.14	11200	0.0654	0.0487
0.0261	3.17	11300	0.0655	0.0488
0.0144	3.2	11400	0.0638	0.0488
0.0195	3.22	11500	0.0655	0.0491
0.0091	3.25	11600	0.0648	0.0492
0.0171	3.28	11700	0.0633	0.0483
0.0538	3.31	11800	0.0654	0.0488
0.0047	3.34	11900	0.0625	0.0490
0.015	3.36	12000	0.0634	0.0476
0.0323	3.39	12100	0.0655	0.0494
0.0173	3.42	12200	0.0637	0.0495
0.0188	3.45	12300	0.0638	0.0479
0.004	3.48	12400	0.0637	0.0459
0.022	3.5	12500	0.0637	0.0467
0.0139	3.53	12600	0.0638	0.0466
0.024	3.56	12700	0.0633	0.0467
0.0047	3.59	12800	0.0650	0.0468
0.0099	3.62	12900	0.0636	0.0476
0.0418	3.64	13000	0.0631	0.0473
0.0298	3.67	13100	0.0620	0.0476
0.0382	3.7	13200	0.0617	0.0468
0.0281	3.73	13300	0.0619	0.0464
0.0256	3.76	13400	0.0621	0.0463
0.0024	3.78	13500	0.0612	0.0463
0.0107	3.81	13600	0.0611	0.0456
0.0084	3.84	13700	0.0613	0.0456
0.0039	3.87	13800	0.0614	0.0463
0.0032	3.9	13900	0.0611	0.0461
0.0043	3.92	14000	0.0614	0.0458
0.0073	3.95	14100	0.0615	0.0460
0.0145	3.98	14200	0.0616	0.0460

Framework versions

• Transformers 4.39.0.dev0
• Pytorch 2.2.1
• Datasets 2.18.0
• Tokenizers 0.15.1