<commit_before># -*- coding: utf-8 -*-
import unittest
import random
import codecs
import numpy as np
import pandas as pd
from os import sys,path
#Work around for package use
sys.path.append(path.dirname(path.dirname(path.abspath(__file__))))
from news_generator import model

class SimplisticTest(unittest.TestCase):
    
    @classmethod
    def setUpClass(cls):
        #called once only during testing time...
        print ("setting up files for test cases !")
        with codecs.open('../../temp_results/raw_news_text.txt','w',encoding='utf8') as fp:
            fp.write(u"""मास्को थियेटर में मारे गए लोगों को 3200 अमेरिकी डॉलर का मुआवजा#|#मास्को एएफपी मास्को थियेटर हादसे में मारे गये बंधको के परिवार वालों में से प्रत्येक को 3200 अमेरिकी डॉलर का मुआवजा दिया जायेगा रूस के रेडियो इको ने सरकारी अधिकारियों के हवाले से बताया कि मास्को थियेटर में चेचेन विद्रोहियों द्वारा बंधक बनाये गये लगभग 750 लोगो में से कम से कम 118 लोगो की मौत हो गयी है सरकारी अधिकारियों ने बताया कि प्रत्येक मरने वाले के अंतिम संस्कार के लिये 450 डॉलर भी दिये जायेंगे
दक्षिण कोरिया और चीन के राष्ट्रपति ने मुलाकात की#|#लास काबोस मैक्सिको एएफपी दक्षिण कोरिया के राष्ट्रपति किम दाय जुंग ने जापान और अमेरिका के साथ उत्तर कोरिया संबंधी अपनी नीति पर हुयी बातचीत के बारे में कल चीन के राष्ट्रपति च्यांग चेमिन को जानकारी दी एपेक बैठक के फौरन बाद दोनों नेताओं की रिसार्ट के एक होटल में भेंट हुयी किम की प्रवक्ता पार्क सुन सूक ने बताया कि किम ने चेमिन को तीनों देशों के बीच हुयी त्रिपक्षीय वार्ता के बारे में विस्तार से जानकारी दी सूक के अनुसार राष्ट्रपति ने उन्हें बताया कि इस मामले के कूटनीतिक निदान के लिये हमें काफी मजबूती से कदम उठाने होंगे चेमिन ने भी कोरिया के संकट के शांतिपूर्ण समाधान के प्रति अपना समर्थन जताया उन्होंने कहा कि चीन कोरिया प्रायद्वीप को परमाणु हथियार मुक्त क्षेत्र के रूप में देखना चाहता है और चाहता है कि इस संकट का शांतिपूर्ण समाधान हो उल्लेखनीय है कि जापान दक्षिण कोरिया और अमेरिका ने गत शनिवार को एक बैठक में कहा कि उत्तर कोरिया पर अपने परमाणु हथियार कार्यक्रम को समाप्त करने का दबाव बनाने की कोशिश की जानी चाहिये
एपेक ने आतंकवाद पर निशाना साधा#|#लास केबोस मैक्सिको एएफपी दुनिया के 60 फीसदी व्यापार का प्रतिनिधित्व करने वाले एशिया प्रशान्त आर्थिक सहयोग मंच एपेक के नेताओं ने अपने शिखर सम्मेलन की समाप्ति पर बाली बम विस्फोट तथा रूस और फिलीपीन्स में आतंकवादी हमलों में निरीह लोगों के सामूहिक संहार की निंदा की और उत्तर कोरिया को परमाणु हथियार का निर्माण नहीं करने की सलाह दी विश्व व्यापार और परिवहन की रक्षा के लिए निर्भीक पहल की शुरुआत करते हुए उन्होंने संयुक्त आर्थिक संभावना के लिए खतरा बन रहे आतंकवादियों के आय सोत को निशाना बनाया लेकिन इस बात के कोई संकेत नहीं दिखे कि अमेरिकी राष्ट्रपति जार्ज डब्ल्यू बुश दो दिन की वार्ता अनौपचारिक बातचीत और आधिकारिक भोज आदि के दौरान साथी नेताओं को इराक के मुद्दे पर कठोर अमेरिकी रुख के अनुसार ढालने में सफल हुए हों साथी नेताओं से घिरे मैक्सिको के राष्ट्रपति विंसेंट फाक्स ने अंतिम घोषणापत्र पढ़ते हुए कहा कि आतंकवाद क्षेत्र की स्वतंत्र उदार और सम्पन्न अर्थव्यवस्था के लिए गंभीर खतरा है एपेक की परम्परा के अनुसार इसमें शामिल हो रहे नेताओं ने मेजबान देश का पारम्परिक परिधान पहन रखा था मेक्सिको ने पुरुष नेताओं के लिए झकाझक सफेद गुआयाबर्स कमीज ओर महिला नेताओं के लिए हुईपाल्स बनवाये थे जिसे फिलीपीन्स की राष्ट्रपति ग्लोरिया अरोयो सहित अन्य महिला नेताओं ने पहन रखा था
अमेरिका इराक के खिलाफ कार्रवाई पर अडिग#|#संयुक्त राष्ट्र भाषा अमेरिका ने इराक के निशस्त्रीकरण के लिये संयुक्त राष्ट्र सुरक्षा परिषद में अपने कड़े प्रस्ताव पर इस हफ्ते मतदान कराने का दृढ़ निश्चय व्यक्त किया है जबकि उसके अधिकारियों को प्रस्ताव के पारित होने पर संदेह है राजनयिकों का मानना है कि अगर रूस फ्रांस और चीन अनुपस्थित रहते हैं तो भी प्रस्ताव के पक्ष में नौ वोट जुटाना अमेरिका के लिये मुश्किल होगा दूसरी ओर फ्रांस ने सुरक्षा परिषद में अपना प्रस्ताव लाने की बात करके अमेरिका के सामने एक नयी मुसीबत खड़ी कर दी है यह प्रस्ताव शस्त्र निरीक्षकों के काम में बाधा डालने के बावजूद इराक के खिलाफ सैन्य कार्रवाई पर रोक लगाता है मैक्सिको के लॉस काबोस में एशिया प्रशांत आर्थिक सहयोग मंच एपेक की बैठक के दौरान तमाम कोशिशों और लॉबिंग के बावजूद अमेरिका अपने प्रस्ताव के पक्ष में न तो मैक्सिको का समर्थन हासिल कर सका और न हीं चीन का मैक्सिको सुरक्षा परिषद का अस्थायी सदस्य है तथा अमेरिका उसे अपने साथ मानकर चल रहा था अमेरिकी राष्ट्रपति जार्ज डब्ल्यू बुश ने बार बार कहा कि अगर संयुक्त राष्ट्र कार्रवाई नहीं करता है तो अमेरिका उसकी सहमति के बगैर इराक के खिलाफ कार्रवाई के लिये गठबंधन सेना का नेतृत्व करेगा राजनयिकों ने कहा कि यहां भी उसे सिर्फ ब्रिटेन का साथ प्राप्त है सबसे बड़ा सवाल तो यह है कि अगर फ्रांसीसी प्रस्ताव सुरक्षा परिषद में पारित हो जाता है और दूसरी ओर अमेरिका कार्रवाई का फैसला करता है तो संयुक्त राष्ट्र धर्मसंकट में फंस जायेगा
13 फलस्तीनी सांसदों के रामल्ला जाने पर पाबंदी लगी#|#येरुशलम एएफपी इस्राइल ने तेरह फलस्तीनी सांसदों के रामल्ला में संसद की उस बैठक में भाग लेने के लिये जाने पर पाबंदी लगा दी जहां आज यासर अराफात अपने नये मंत्रिमंडल की घोषणा करने वाले हैं इस्राइल सरकार के प्रवक्ता ओफिर खाखम ने कल कहा कि यह पाबंदी सुरक्षा कारणों से लगायी गयी है तेरह फलस्तीनी सांसदों को सोमवार को रामल्ला की संसदीय बैठक में शामिल नहीं होने दिया जायेगा उन्होंने उन लोगों के नाम भी बताये जिनपर यह पाबंदी लगायी गयी है यह पाबंदी ऐसे समय लगायी गयी है जब एक दिन पूर्व फलस्तीन के डिप्टी स्पीकर इब्राहीम अबुल नाजा ने कहा था कि इस्राइल ने वादा किया है कि सभी फलस्तीनी प्रतिनिधियों को सोमवार की बैठक में शामिल होने के लिये जाने दिया जायेगा संसद की इस बैठक में एक नये मंत्रिमंडल के गठन के लिये विश्वास प्रस्ताव पर मतदान होगा
भारत वेस्टइंडीज अंतिम टेस्ट की तैयारी पूरी#|#कोलकाता भाषा भारत और वेस्टइंडीज के बीच तीस अक्तूबर से ईडन गार्डन पर खेले जाने वाले तीसरे और आखिरी क्रिकेट टेस्ट के लिये सभी तैयारियां पूरी कर ली गई है टेस्ट मैच के लिये फिर से बिछाई गई पिच को आज मैदानकर्मियों ने तैयार कर दिया इस पिच की प्रकृति को लेकर कई अटकलें लगाई जा रही है भारत के पूर्व चयनकर्ता संबरन बनर्जी ने कहा कि पिच धीमी प्रतीत हो रही है और इससे गेंदबाजों को उछाल मिलने की उम्मीद कम ही है भारतीय कप्तान सौरव गांगुली ने अनुमान व्यक्त किया कि पिच पूरे पांच दिन तक दुरुस्त रहेगी हालांकि उन्होंने कहा कि यह धीमी होगी या उछालभरी अभी कहा नहीं जा सकता
कर्नाटक ने तमिलनाडु के लिए पानी छोड़ा#|#मैसूर वार्ता कर्नाटक के मुख्यमंत्री एसएम कृष्णा के विरुद्ध अदालत की अवमानना के मामले में उच्चतम न्यायालय के आदेश के इंतजार के बीच कर्नाटक ने आज तमिलनाडु के लिए कावेरी का पानी छोड़ना शुरू कर दिया सिंचाई विभाग के अधिकारियों ने बताया कि कर्नाटक ने आज सुबह तमिलनाडु को दो हजार क्यूसेक पानी छोड़ना शुरू कर दिया उन्होंने बताया कि कृष्णराज सागर जलाशय से पानी छोड़ना तड़के करीब दो बजे शुरू हुआ लेकिन काबिनी जलाशय से पानी नहीं छोड़ गया है इस बीच जलाशय के चारों ओर 10 किलोमीटर के क्षेत्र में धारा 144 के तहत निषेधाज्ञा लागू कर दी गई है दोनों ही जलाशयों के आसपास बड़ी संख्या में पुलिस बलों की तैनाती की गई है
बैंक आफ इंडिया का शुद्ध लाभ 44 प्रतिशत बढ़ा#|#मुंबई वार्ता सार्वजनिक क्षेत्र के बैंक आफ इंडिया को चालू वित्त वर्ष की दूसरी तिमाही में 194 करोड़ 43 लाख रुपए का शुद्ध लाभ हुआ है जो बैंक को पिछले साल इसी अवधि में हुए 135 करोड़ 16 लाख रुपए के मुनाफे से 43 9 प्रतिशत अधिक है बैंक के आज यहां जारी परिणामों के अनुसार इस दौरान कुल आय 1713 करोड़ 32 लाख रुपए से बढ़कर 1869 करोड़ 1 लाख रुपए पर पहुंच गई सार्वजनिक क्षेत्र के ही एक अन्य बैंक आफ बड़ौदा ने इस वर्ष जुलाई सितम्बर में 137 करोड़ 22 लाख रुपए का शुद्ध लाभ कमाया पिछले साल बैंक को इस अवधि में 98 करोड 44 लाख रुपए का मुनाफा हुआ था इस प्रकार तिमाही के दौरान शुद्ध लाभ में 39 प्रतिशत की बढ़ोतरी हुई तिमाही के दौरान प्रति शेयर आय 3 33 रुपए से बढ़कर 4 64 रुपए हो गई कुल आय 1727 करोड़ 4 लाख रुपए से बढ़कर 1907 करोड़ 97 लाख रुपए पर पहुंच गई""")
            fp.close()
            
        tokens=set()
        with codecs.open('../../temp_results/raw_news_text.txt','r',encoding='utf8') as fp:
            for each_line in fp:
                headline, text = each_line.split("#|#")
                tokens.update(headline.split())
                tokens.update(text.split())
        tokens_word2vec = np.random.rand(len(tokens),300)
        df = pd.DataFrame({'word':list(tokens)})
        shape = tokens_word2vec.shape
        for i in range(shape[1]):
            df[i] = tokens_word2vec[:,i]
        df.to_csv('../../temp_results/word2vec_hindi.txt',sep=' ',header=None, index=False, encoding='utf-8')
        
    def setUp(self):
        #called one per test case ...
        self.t = model.news_rnn()
        self.t.read_word_embedding()
        
    def test_file_line_counter(self,):
        self.assertEqual( self.t.file_line_counter('../../temp_results/raw_news_text.txt'), 8)
        
    def test_read_word_embedding(self,):
        self.assertEqual( 557,len(self.t.word2idx))<commit_msg>Bug fixing in model and word2vec reading<commit_after># -*- coding: utf-8 -*-
import unittest
import random
import codecs
import numpy as np
import pandas as pd
from os import sys,path
#Work around for package use
sys.path.append(path.dirname(path.dirname(path.abspath(__file__))))
from news_generator import model

class SimplisticTest(unittest.TestCase):
    
    @classmethod
    def setUpClass(cls):
        #no_of_dimensions for word2vec
        no_of_dimensions=300
        #called once only during testing time...
        print ("setting up files for test cases !")
        with codecs.open('../../temp_results/raw_news_text.txt','w',encoding='utf8') as fp:
            fp.write(u"""मास्को थियेटर में मारे गए लोगों को 3200 अमेरिकी डॉलर का मुआवजा#|#मास्को एएफपी मास्को थियेटर हादसे में मारे गये बंधको के परिवार वालों में से प्रत्येक को 3200 अमेरिकी डॉलर का मुआवजा दिया जायेगा रूस के रेडियो इको ने सरकारी अधिकारियों के हवाले से बताया कि मास्को थियेटर में चेचेन विद्रोहियों द्वारा बंधक बनाये गये लगभग 750 लोगो में से कम से कम 118 लोगो की मौत हो गयी है सरकारी अधिकारियों ने बताया कि प्रत्येक मरने वाले के अंतिम संस्कार के लिये 450 डॉलर भी दिये जायेंगे
दक्षिण कोरिया और चीन के राष्ट्रपति ने मुलाकात की#|#लास काबोस मैक्सिको एएफपी दक्षिण कोरिया के राष्ट्रपति किम दाय जुंग ने जापान और अमेरिका के साथ उत्तर कोरिया संबंधी अपनी नीति पर हुयी बातचीत के बारे में कल चीन के राष्ट्रपति च्यांग चेमिन को जानकारी दी एपेक बैठक के फौरन बाद दोनों नेताओं की रिसार्ट के एक होटल में भेंट हुयी किम की प्रवक्ता पार्क सुन सूक ने बताया कि किम ने चेमिन को तीनों देशों के बीच हुयी त्रिपक्षीय वार्ता के बारे में विस्तार से जानकारी दी सूक के अनुसार राष्ट्रपति ने उन्हें बताया कि इस मामले के कूटनीतिक निदान के लिये हमें काफी मजबूती से कदम उठाने होंगे चेमिन ने भी कोरिया के संकट के शांतिपूर्ण समाधान के प्रति अपना समर्थन जताया उन्होंने कहा कि चीन कोरिया प्रायद्वीप को परमाणु हथियार मुक्त क्षेत्र के रूप में देखना चाहता है और चाहता है कि इस संकट का शांतिपूर्ण समाधान हो उल्लेखनीय है कि जापान दक्षिण कोरिया और अमेरिका ने गत शनिवार को एक बैठक में कहा कि उत्तर कोरिया पर अपने परमाणु हथियार कार्यक्रम को समाप्त करने का दबाव बनाने की कोशिश की जानी चाहिये
एपेक ने आतंकवाद पर निशाना साधा#|#लास केबोस मैक्सिको एएफपी दुनिया के 60 फीसदी व्यापार का प्रतिनिधित्व करने वाले एशिया प्रशान्त आर्थिक सहयोग मंच एपेक के नेताओं ने अपने शिखर सम्मेलन की समाप्ति पर बाली बम विस्फोट तथा रूस और फिलीपीन्स में आतंकवादी हमलों में निरीह लोगों के सामूहिक संहार की निंदा की और उत्तर कोरिया को परमाणु हथियार का निर्माण नहीं करने की सलाह दी विश्व व्यापार और परिवहन की रक्षा के लिए निर्भीक पहल की शुरुआत करते हुए उन्होंने संयुक्त आर्थिक संभावना के लिए खतरा बन रहे आतंकवादियों के आय सोत को निशाना बनाया लेकिन इस बात के कोई संकेत नहीं दिखे कि अमेरिकी राष्ट्रपति जार्ज डब्ल्यू बुश दो दिन की वार्ता अनौपचारिक बातचीत और आधिकारिक भोज आदि के दौरान साथी नेताओं को इराक के मुद्दे पर कठोर अमेरिकी रुख के अनुसार ढालने में सफल हुए हों साथी नेताओं से घिरे मैक्सिको के राष्ट्रपति विंसेंट फाक्स ने अंतिम घोषणापत्र पढ़ते हुए कहा कि आतंकवाद क्षेत्र की स्वतंत्र उदार और सम्पन्न अर्थव्यवस्था के लिए गंभीर खतरा है एपेक की परम्परा के अनुसार इसमें शामिल हो रहे नेताओं ने मेजबान देश का पारम्परिक परिधान पहन रखा था मेक्सिको ने पुरुष नेताओं के लिए झकाझक सफेद गुआयाबर्स कमीज ओर महिला नेताओं के लिए हुईपाल्स बनवाये थे जिसे फिलीपीन्स की राष्ट्रपति ग्लोरिया अरोयो सहित अन्य महिला नेताओं ने पहन रखा था
अमेरिका इराक के खिलाफ कार्रवाई पर अडिग#|#संयुक्त राष्ट्र भाषा अमेरिका ने इराक के निशस्त्रीकरण के लिये संयुक्त राष्ट्र सुरक्षा परिषद में अपने कड़े प्रस्ताव पर इस हफ्ते मतदान कराने का दृढ़ निश्चय व्यक्त किया है जबकि उसके अधिकारियों को प्रस्ताव के पारित होने पर संदेह है राजनयिकों का मानना है कि अगर रूस फ्रांस और चीन अनुपस्थित रहते हैं तो भी प्रस्ताव के पक्ष में नौ वोट जुटाना अमेरिका के लिये मुश्किल होगा दूसरी ओर फ्रांस ने सुरक्षा परिषद में अपना प्रस्ताव लाने की बात करके अमेरिका के सामने एक नयी मुसीबत खड़ी कर दी है यह प्रस्ताव शस्त्र निरीक्षकों के काम में बाधा डालने के बावजूद इराक के खिलाफ सैन्य कार्रवाई पर रोक लगाता है मैक्सिको के लॉस काबोस में एशिया प्रशांत आर्थिक सहयोग मंच एपेक की बैठक के दौरान तमाम कोशिशों और लॉबिंग के बावजूद अमेरिका अपने प्रस्ताव के पक्ष में न तो मैक्सिको का समर्थन हासिल कर सका और न हीं चीन का मैक्सिको सुरक्षा परिषद का अस्थायी सदस्य है तथा अमेरिका उसे अपने साथ मानकर चल रहा था अमेरिकी राष्ट्रपति जार्ज डब्ल्यू बुश ने बार बार कहा कि अगर संयुक्त राष्ट्र कार्रवाई नहीं करता है तो अमेरिका उसकी सहमति के बगैर इराक के खिलाफ कार्रवाई के लिये गठबंधन सेना का नेतृत्व करेगा राजनयिकों ने कहा कि यहां भी उसे सिर्फ ब्रिटेन का साथ प्राप्त है सबसे बड़ा सवाल तो यह है कि अगर फ्रांसीसी प्रस्ताव सुरक्षा परिषद में पारित हो जाता है और दूसरी ओर अमेरिका कार्रवाई का फैसला करता है तो संयुक्त राष्ट्र धर्मसंकट में फंस जायेगा
13 फलस्तीनी सांसदों के रामल्ला जाने पर पाबंदी लगी#|#येरुशलम एएफपी इस्राइल ने तेरह फलस्तीनी सांसदों के रामल्ला में संसद की उस बैठक में भाग लेने के लिये जाने पर पाबंदी लगा दी जहां आज यासर अराफात अपने नये मंत्रिमंडल की घोषणा करने वाले हैं इस्राइल सरकार के प्रवक्ता ओफिर खाखम ने कल कहा कि यह पाबंदी सुरक्षा कारणों से लगायी गयी है तेरह फलस्तीनी सांसदों को सोमवार को रामल्ला की संसदीय बैठक में शामिल नहीं होने दिया जायेगा उन्होंने उन लोगों के नाम भी बताये जिनपर यह पाबंदी लगायी गयी है यह पाबंदी ऐसे समय लगायी गयी है जब एक दिन पूर्व फलस्तीन के डिप्टी स्पीकर इब्राहीम अबुल नाजा ने कहा था कि इस्राइल ने वादा किया है कि सभी फलस्तीनी प्रतिनिधियों को सोमवार की बैठक में शामिल होने के लिये जाने दिया जायेगा संसद की इस बैठक में एक नये मंत्रिमंडल के गठन के लिये विश्वास प्रस्ताव पर मतदान होगा
भारत वेस्टइंडीज अंतिम टेस्ट की तैयारी पूरी#|#कोलकाता भाषा भारत और वेस्टइंडीज के बीच तीस अक्तूबर से ईडन गार्डन पर खेले जाने वाले तीसरे और आखिरी क्रिकेट टेस्ट के लिये सभी तैयारियां पूरी कर ली गई है टेस्ट मैच के लिये फिर से बिछाई गई पिच को आज मैदानकर्मियों ने तैयार कर दिया इस पिच की प्रकृति को लेकर कई अटकलें लगाई जा रही है भारत के पूर्व चयनकर्ता संबरन बनर्जी ने कहा कि पिच धीमी प्रतीत हो रही है और इससे गेंदबाजों को उछाल मिलने की उम्मीद कम ही है भारतीय कप्तान सौरव गांगुली ने अनुमान व्यक्त किया कि पिच पूरे पांच दिन तक दुरुस्त रहेगी हालांकि उन्होंने कहा कि यह धीमी होगी या उछालभरी अभी कहा नहीं जा सकता
कर्नाटक ने तमिलनाडु के लिए पानी छोड़ा#|#मैसूर वार्ता कर्नाटक के मुख्यमंत्री एसएम कृष्णा के विरुद्ध अदालत की अवमानना के मामले में उच्चतम न्यायालय के आदेश के इंतजार के बीच कर्नाटक ने आज तमिलनाडु के लिए कावेरी का पानी छोड़ना शुरू कर दिया सिंचाई विभाग के अधिकारियों ने बताया कि कर्नाटक ने आज सुबह तमिलनाडु को दो हजार क्यूसेक पानी छोड़ना शुरू कर दिया उन्होंने बताया कि कृष्णराज सागर जलाशय से पानी छोड़ना तड़के करीब दो बजे शुरू हुआ लेकिन काबिनी जलाशय से पानी नहीं छोड़ गया है इस बीच जलाशय के चारों ओर 10 किलोमीटर के क्षेत्र में धारा 144 के तहत निषेधाज्ञा लागू कर दी गई है दोनों ही जलाशयों के आसपास बड़ी संख्या में पुलिस बलों की तैनाती की गई है
बैंक आफ इंडिया का शुद्ध लाभ 44 प्रतिशत बढ़ा#|#मुंबई वार्ता सार्वजनिक क्षेत्र के बैंक आफ इंडिया को चालू वित्त वर्ष की दूसरी तिमाही में 194 करोड़ 43 लाख रुपए का शुद्ध लाभ हुआ है जो बैंक को पिछले साल इसी अवधि में हुए 135 करोड़ 16 लाख रुपए के मुनाफे से 43 9 प्रतिशत अधिक है बैंक के आज यहां जारी परिणामों के अनुसार इस दौरान कुल आय 1713 करोड़ 32 लाख रुपए से बढ़कर 1869 करोड़ 1 लाख रुपए पर पहुंच गई सार्वजनिक क्षेत्र के ही एक अन्य बैंक आफ बड़ौदा ने इस वर्ष जुलाई सितम्बर में 137 करोड़ 22 लाख रुपए का शुद्ध लाभ कमाया पिछले साल बैंक को इस अवधि में 98 करोड 44 लाख रुपए का मुनाफा हुआ था इस प्रकार तिमाही के दौरान शुद्ध लाभ में 39 प्रतिशत की बढ़ोतरी हुई तिमाही के दौरान प्रति शेयर आय 3 33 रुपए से बढ़कर 4 64 रुपए हो गई कुल आय 1727 करोड़ 4 लाख रुपए से बढ़कर 1907 करोड़ 97 लाख रुपए पर पहुंच गई""")
            fp.close()
            
        tokens=set()
        with codecs.open('../../temp_results/raw_news_text.txt','r',encoding='utf8') as fp:
            for each_line in fp:
                headline, text = each_line.split("#|#")
                tokens.update(headline.split())
                tokens.update(text.split())
        tokens_word2vec = np.random.rand(len(tokens),no_of_dimensions)
        df = pd.DataFrame({'word':list(tokens)})
        shape = tokens_word2vec.shape
        for i in range(shape[1]):
            df[i] = tokens_word2vec[:,i]
        df.to_csv('../../temp_results/word2vec_hindi.txt',sep=' ',header=None, index=False, encoding='utf-8')
        #write header with number of words and dimensions
        line=str(len(tokens))+" "+str(no_of_dimensions)
        with open('../../temp_results/word2vec_hindi.txt', 'r+') as f:
            content = f.read()
            f.seek(0, 0)
            f.write(line.strip() + '\n' + content)
        
    def setUp(self):
        #called one per test case ...
        self.t = model.news_rnn()
        self.t.read_word_embedding()
        
    def test_file_line_counter(self,):
        self.assertEqual( self.t.file_line_counter('../../temp_results/raw_news_text.txt'), 8)
        
    def test_read_word_embedding(self,):
        self.assertEqual( 557,len(self.t.word2idx))
{'fraction_non_alphanumeric': 0.2765685019206146, 'fraction_numerical': 0.01158188802234897, 'mean_word_length': 3.6781922134494964, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6919677', 'n_tokens_mistral': 15004, 'n_tokens_neox': 14299, 'n_words': 2849}