Wav2Vec2 for hi with LM !!!

evaluation/with_lm/common_voice_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.35962877030162416
+CER: 0.11337977420129715

evaluation/with_lm/log_common_voice_hi_test_predictions.txt

@@ -0,0 +1,254 @@
+0
+कांस्टबल बन मनोज बाज पे दिखा रहे हैं तान्डल
+1
+वह चाय पी रहा है
+2
+अब मच्छरों को मारेंगे मच्छ
+3
+जेक मुझसे तीन साल बड़ा है
+4
+एक पागल इंसान को अपने किए धरे के लिए जिम्मेदार नहीं ठहराया जा सकता
+5
+कान ज्यादा तेज भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया
+7
+उन्होंने एक दूसरे को देखा
+8
+अभी पॉलैंड में क्या हो रहा है
+9
+मैं सफर पर उसके साथ गया
+10
+उसने मेरे स्तन पकड़ लिए
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी पाट कर जीपेशीसे थोड़े
+13
+हमारे पास तो बस चाय हैं
+14
+वह उसे अपना स्कूल बहुत पसंद है
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है
+16
+वह नतीजे के लिए बेचैन हैं
+17
+लुई तुम्हारे दोस्त आ रहे हैं
+18
+लगता है मुझे सहायता की आवश्यकता है
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डांटा
+20
+यहाँ आसपास में एक झोपड़ी हुआ करती थीं
+21
+गहरुवती ने बुर्गाक्या पहानाभाड़क गया दंगा
+22
+बच्चे भागी जमे खेल रह
+23
+इस द्वीप पर बहुत कम लोग रहते हैं
+24
+तुम्हें थोड़ा जाता समझदार होना चाहिए
+25
+तुम यहाँ सारे के सारे पेड़ काट डाले क्या
+26
+वो मुझ पर गुस्सा हो गया
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्याल की जांच असायटी को
+28
+कारा रंग तुम पर जंचता है
+29
+और शादी शुदा नहीं है
+30
+आतंकवादी लखनों को भी दे सकते हैं पठान कोटे जैसे घाव
+31
+मुझे अपने पिता की गरीबी पर शर्म नहीं आती है
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वो मुझसे दो साल छोटी है
+35
+मेरी नजर इन दिनों कमजोर हो रही है
+36
+वो तीन घंटों में वापिस आएगा
+37
+वे पाँच बजे चाय पीती हैं
+38
+महाराष्ट्र पब्लिक सर्विस कमिशन में वैकेंसी
+39
+उसने सब कुछ अपने आप किया
+40
+दुनिया बदल गई है
+41
+या आप का फैसला नहीं है
+42
+मैं सीरी हँसे हूँ
+43
+हम अन्दर आ रहे हैं
+44
+आप इसके साथ खा रही हैं
+45
+वो बहुत पैसे वाली महारत है
+46
+यह कुर्सी आपके हैं
+47
+मैं अभी छोड़ने वाली नहीं हो
+48
+चाय वाई कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुन लायक नहीं है
+50
+दरवाजा खोलिए
+51
+मुझे मूर्ख बनना पसंद नहीं है
+52
+हम एक फेर देख रहे हैं
+53
+बोतल छोड़ दो
+54
+मुझे एक कब चाय चाहिए
+55
+हमें नहीं पता हम कहाँ है
+56
+पाकिस्तान में आत्म की हाफीज शहीद के बेटे पर भी आतंकवादी हमने का खतरा
+57
+मलयालम के आशीर्वाद पर अखिलेश बोले नेता जी जिंदा बाद शिवपाल नदारद
+58
+मैं स्कूल जाना नहीं चाहता हूँ
+59
+आम चुनाव के ���िए कांग्रेस तर्क जाट आरक्षण से फिर बोभटोरे की कांग्रेस
+60
+उसने प्रतियों के साथ फिर से जीत ली
+61
+किसी ने मेरी पतन काट ही है
+62
+हम सब टाम को जानते हैं
+63
+अफ्रीका में कई सिर है
+64
+आज के युवाओं को नहीं मालूम पहले विश्वयुद्ध की तारीखें
+65
+मुम्बई भारतीय राज्य महाराष्ट्रा की रास्त हानी है
+66
+उसने मुझे वह नियम समझाया
+67
+मेरे पापा आम तौर पर छह बजे घर लौट कर आते हैं
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बन्द
+69
+तूफान ने पूरे नगर को नष्ट कर दिया
+70
+हम तो बस दोस्त हैं
+71
+हमारी मीटिंग कभी खबर ही टाइम पर शुरू होती है
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अम्बीटकर यूनिवर्सिटी शुरू करेगी आनलैन कोर्स
+74
+विपक्ष का वार केजरीवाल जैसी नौटंकी पर उतरे सेव राज
+75
+वह वहाँ जाने से डरता था
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ़्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी
+78
+चाय वाई कुछ ले गया
+79
+उसका दिल साफ है
+80
+महलाएँ दुनिया बदल देती है
+81
+तय हर एक सांस्क्रोति का एक सुंदर भाग होता है
+82
+मुझे अंग्रेज़ी और संगीत पसंद है
+83
+ई टिकट कारोबार में आया सिटी सी को मिल सकती है चुन होती
+84
+वो रोया और और रोया
+85
+सब लोग मुझ पर हँसे
+86
+मंडेसे बेहतर टेस्ट करिकेटर हैं काली कोच
+87
+काम का क्या हुआ ही
+88
+समय बाद हृद्य का आखिरी दिन होता थाई
+89
+मेरा सब किताब सा जान है
+90
+टॉम आधी भी स्कूल ना है
+91
+मुझे बस उसका नाम बता
+92
+वह सेव करने लगा है
+93
+वह दस शांत का लड़का था
+94
+मेरे लिए तो ही जगह बनाओगिए क्या
+95
+शाम को कुछ पिलाओ
+96
+कुछ कुछ लोचा है मैं सनी लियोन का बिकनी लुक
+97
+यह रही आपकी चाबी
+98
+टॉम ने आकाश की तरफ देखा
+99
+मैं शहर का नक्षा खरीदना चाहता हूँ
+100
+मेरी छड़ी कहाँ है
+101
+इस वजह से हुआ दावतें इसकी रिलीज में फेर बदल
+102
+उस संस्कृति में लोग रंगविरंगी कपड़े पहनते हैं
+103
+यह सशक्त लोग पाल नहीं है लालू या दो
+104
+इसलिए क्योंकि तुम लड़की हो
+105
+कौन बने की एम धोनी की वाय आलिया भटट या श्रद्धा कपू
+106
+काटी हाईकोट में बैकिनसी
+107
+बेकरी कहाँ है
+108
+पहली बार का मिनट विस्टा परीकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+वह में एक बार फिर होगी आफत की बारिश अगले दो दिन कायलट
+110
+वह मेरी बात नहीं सुनेगा
+111
+म इस शोर को आर पर दास नहीं कर सकती
+112
+इससे मेरा कोई लेना देना नहीं है
+113
+तुम मर हो गये
+114
+मैं इस जिंदगी को जी कर थक गया हूँ
+115
+बाद में मिलेंगे
+116
+दुकान आज खुली नहीं है
+117
+वह कौन सी चिड़िया हैं
+118
+गुजरात में हमेशा की गाड़ी के ऊपर पाटीदारों ने फेंके अंडे
+119
+फि टूल के दामों में बीडी से ममता नाखुश
+120
+टॉम स्वार्थी था
+121
+आप दोनों बीच रही हैं
+122
+यह रही तेरी चाहे
+123
+जर्मन ही चाहता था कि रूस युद्ध से बाहर रह
+124
+दिल्ली अंसार में सुहावने मौसम के बीच ट्राफिक जाम बना लोगों के लिए मुसीबत
+125
+महिनाओं के लिए स्ट्रिप पल्प है
+126
+बरसों तक जैसे खून समझती रही दुनिया बाद में वो निकला गरम पानी

evaluation/with_lm/log_common_voice_hi_test_targets.txt

@@ -0,0 +1,254 @@
+0
+कांस्टेबल बन मनोज बाजपेयी दिखा रहे हैं 'तांडव'
+1
+वह चाय पी रहा है।
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जैक मुझसे तीन साल बड़ा है।
+4
+एक पागल इनसान को अपने कियेधरे के लिए ज़िम्मेदार नहीं ठहराया जा सकता।
+5
+कौन ज़्यादा तेज़ भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया।
+7
+उन्होंने एकदूसरे को देखा।
+8
+अभी पोलैंड में क्या हो रहा है
+9
+मैं सफ़र पर उसके साथ गया।
+10
+उसने मेरे स्तन पकड़ लिये।
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी फाड़कर जीप के शीशे तोड़े
+13
+हमारे पास तो बस चाय है।
+14
+उसे अपना स्कूल बहुत पसंद है।
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है।
+16
+वह नतीजे के लिए बेचैन है।
+17
+लुई तुम्हारे दोस्त आ रहे हैं।
+18
+लगता है मुझे सहायता की आवश्यकता है।
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डाँटा।
+20
+यहाँ आसपास में एक झोपड़ी हुआ करती थी।
+21
+गर्भवती ने बुरका क्या पहाना भड़क गया दंगा
+22
+बच्चे बगीचे में खेल रहे हैं।
+23
+इस द्वीप पर बहुत कम लोग रहते हैं।
+24
+तुम्हें थोड़ा ज़्यादा समझदार होना चाहिए।
+25
+तुम यहाँ सारे के सारे पेड़ काट डालोगे क्या
+26
+वह मुझपर गुस्सा हो गया।
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्यालयों की जांच एसआईटी को
+28
+काला रंग तुम पर जँचता है।
+29
+वह शादीशुदा नहीं है।
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठानकोट जैसा घाव
+31
+मुझे अपने पिता की ग़रीबी पर शर्म नहीं आती है।
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वह मुझसे दो साल छोटी है।
+35
+मेरी नज़र इन दिनों कमज़ोर हो रही है।
+36
+वह तीन घंटों में वापस आएगा।
+37
+वे पाँच बजे चाय पीतीं हैं।
+38
+महाराष्ट्र पब्लिक सर्विस कमीशन में वैकेंसी
+39
+उसने सब कुछ अपनेआप किया।
+40
+दुनिया बदल गई है।
+41
+यह आपका फ़ैसला नहीं है।
+42
+मैं सीरिया से हूँ।
+43
+हम अंदर आ रहे हैं।
+44
+आप किसके साथ खा रहीं हैं
+45
+वह बहुत पैसेवाली औरत है।
+46
+यह कुर्सी आपकी है।
+47
+मैं अभी छोड़ने वाली नहीं हूँ।
+48
+चायवाय कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है।
+50
+दरवाज़ा खोलिए।
+51
+मुझे मूर्ख बनना पसंद नहीं है।
+52
+हम एक फ़िल्म देख रहे हैं।
+53
+बोतल छोड़ दो।
+54
+मुझे एक कप चाय चाहिए।
+55
+हमें नहीं पता हम कहाँ हैं।
+56
+पाकिस्तान में आतंकी हाफिज सईद के बेटे पर भी आतंकवादी हमले का खतरा
+57
+मुलायम के आशीर्वाद पर अखिलेश बोले न��ताजी जिंदाबाद शिवपाल नदारद
+58
+मैं स्कुल जाना नहीं चाहता हूँ।
+59
+आम चुनावों के लिए कांग्रेस सतर्क जाट आरक्षण से फिर वोट बटोरेगी कांग्रेस
+60
+उसने प्रतियोगिता फिरसे जीत ली।
+61
+किसी ने मेरी पतंग काट ली है।
+62
+हम सब टॉम को जानते हैं।
+63
+आफ़्रिका में कई शेर हैं।
+64
+आज के युवाओं को नहीं मालूम पहले विश्वयुद्ध की तारीखें
+65
+मुम्बई भारतीय राज्य महाराष्ट्र की राजधानी है।
+66
+उसने मुझे वह नियम समझाया।
+67
+मेरे पापा आमतौर पर छः बजे घर लौटकर आते हैं।
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंद
+69
+तूफ़ान ने पूरे नगर को नष्ट कर दिया।
+70
+हम तो बस दोस्त है।
+71
+हमारी मीटिंग कभीकभार ही टाईम पर शुरू होती है।
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडकर यूनिवर्सिटी शुरू करेगी ऑनलाइन कोर्स
+74
+विपक्ष का वार केजरीवाल जैसी नौटंकी पर उतरे शिवराज
+75
+वह वहाँ जाने से डरता था।
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी।
+78
+चायवाय कुछ लेंगे आप
+79
+उसका दिल साफ़ है।
+80
+महिलाएँ दुनिया बदल देती हैं।
+81
+नृत्य हर एक संस्कृति का एक सुंदर भाग होता है।
+82
+मुझे अंग्रेज़ी और संगीत पसंद हैं।
+83
+ईटिकट कारोबार में आईआरसीटीसी को मिल सकती है चुनौती
+84
+वह रोया और और रोया।
+85
+सब लोग मुझपर हँसे।
+86
+वनडे से बेहतर टेस्ट क्रिकेटर है कोहली कोच
+87
+टॉम को क्या हुआ है
+88
+शनिवार हफ़्ते का आखिरी दिन होता है।
+89
+मेरा शौक गिटार बजाना है।
+90
+टॉम अभी भी स्कूल में है
+91
+मुझे बस उसका नाम बता।
+92
+वह सेव सड़ने लगा है।
+93
+वह दस साल का लड़का था।
+94
+मेरे लिए थोड़ी जगह बनाओगे क्या
+95
+टॉम को कुछ पिलाओ।
+96
+'कुछ कुछ लोचा है' में सनी लियोन का बिकिनी लुक
+97
+यह रही आपकी चाबी।
+98
+टॉम ने आकाश की तरफ देखा।
+99
+मैं शहर का नक्शा खरीदना चाहता हूँ।
+100
+मेरी छड़ी कहाँ है
+101
+इस वजह से हुआ दावतएइश्क की रिलीज में फेरबदल
+102
+उस संस्कृति में लोग रंगबिरंगी कपड़े पहनते हैं।
+103
+यह सशक्त लोकपाल नहीं हैः लालू यादव
+104
+इसलिए क्योंकि तुम लड़की हो।
+105
+कौन बनेगी एमएस धोनी की 'वाइफ' आलिया भट्ट या श्रद्धा कपूर
+106
+गुवाहाटी हाईकोर्ट में वैकेंसी
+107
+बेकरी कहाँ है
+108
+पहली बारकैबिनेट विस्तार पर्रिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+मुंबई में एक बार फिर होगी आफत की बारिश अगले दो दिन का अलर्ट
+110
+वह मेर�� बात नहीं सुनेगा।
+111
+मैं इस शोर को और बर्दाश्त नहीं कर सकती।
+112
+इससे मेरे कोई लेनादेना नहीं है।
+113
+तुम मरोगे।
+114
+मैं इस ज़िन्दगी को जीकर थक गया हूँ।
+115
+बाद में मिलेंगे।
+116
+दुकान आज खुली नहीं है।
+117
+वह कौनसी चिड़िया है
+118
+गुजरात में अमित शाह की गाड़ी के ऊपर पाटीदारों ने फेंके अंडे
+119
+पेट्रोल के दामों में वृद्धि से ममता नाखुश
+120
+टॉम स्वार्थी था।
+121
+आप दोनों देख रही हैं।
+122
+यह रही तेरी चाय।
+123
+जर्मनी चाहता था कि रूस युद्ध से बाहर रहे।
+124
+दिल्लीएनसीआर में सुहावने मौसम के बीच ट्रैफिक जाम बना लोगों के लिए मुसीबत
+125
+महिलाओं के लिये स्ट्रिप क्लब है।
+126
+बरसों तक जिसे खून समझती रही दुनिया बाद में वो निकला गर्म पानी

evaluation/with_lm/mozilla-foundation_common_voice_7_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.3421149821494522
+CER: 0.12281403517543969

evaluation/with_lm/mozilla-foundation_common_voice_8_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.354657066371273
+CER: 0.13334324779016052