<jupyter_start><jupyter_text><jupyter_code>!git clone https://github.com/sushil79g/Nepali_text_summerizer
from Nepali_text_summerizer.loadembedding import load_vector
word_vec = load_vector()
import string
def preprocess(text):
    sentences = text.split(u"।")
#     abc = text.translate(str.maketrans('', '', string.punctuation))
    sentences = [sentence.translate(str.maketrans('', '', string.punctuation)) for sentence in sentences]
    return sentences 
vocab = word_vec.vocab
def sentence_vectorizer(sentence):
    dic = {}
    for i in range(len(sentence)):
        sum_vec = np.zeros(word_vec.size)
        sentence = [word for word in sentence if word in vocab]
        if sentence:
            for word in sentence:
                word_vec = word_vec[word]
                sum_vec = np.add(sum_vec, word_vec)
            dic[i] = sum_vec/len(sentence)
    return dic
        
# (list(word_vec.vocab)) सिद्धान्त
word_vec['सिद्धान्त']
#using TFIDF
from sklearn.feature_extraction.text import TfidfVectorizer
def generate_centroif_tfidf(sentence):
    tf = TfidfVectorizer()
    tfidf = tf.fit_transform(sentence).toarray().sum(0)
    tfidf = np.divide(tfidf, tfidf.max())
    words = tf.get_feature_names()
    similar_term = []
    for i in range(len(tfidf)):
        if word[i] in vocab:
            if tfidf[i] >= 0.2:
                similar_term.append(words[i])
    res = [word_vec(term) for term in similar_word]
    return sum(res)/len(res)
import string
text = "दैलेख जिल्ला नेपालको मध्य-पश्चिमाञ्चल विकास क्षेत्रको भेरी अञ्चलको एक जिल्ला हो। यो जिल्लाको सदरमुकाम नारायण नगरपालिका हो। यो जिल्ला भेरी अञ्चलको सबैभन्दा सानो जिल्ला हो। दैलेख जिल्ला मध्य पश्चिमाञ्चल विकास क्षेत्र अन्तर्गत पूर्वमा जाजरकोट उत्तरमा कालिकोट पश्चिममा अछाम र दक्षिणमा सुर्खेत जिल्ल्लाका वीचमा रहेको एक रमणीय मध्य पहाडी जिल्ला हो । यो जिल्लाको सदरमुकाम दैलेख बजार काठमाडौंबाट करिब ६५० किलोमिटर पश्चिम, कोहलपुरबाट १५० किलोमिटर र सुर्खेत उपत्यकाबाट ६५ किलोमिटर उत्तरमा रहेको छ । ऐतिहासिक धरोहरका रूपमा रहेको यस पहाडी जिल्लाको उत्तर सिरमा मनमोहक महावुलेक दक्षिण र पश्चिममा कर्णाली नदी र जिल्ला भित्र लोहोरे छामघाट खोला शीरस्थान, नाभिस्थान, पादुका, कोटीला धुलेश्वर जस्ता पानीमाथि दीप ज्वाला वल्ने पाँचकोशी तीर्थस्थलका नामले प्रसिद्ध रहेकाका क्षेत्रहरू यहाँ छन् ।"
abc = text.translate(str.maketrans('', '', string.punctuation))
abc<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.19284802043422733, 'fraction_numerical': 0.005534269902085994, 'mean_word_length': 3.9788135593220337, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 6, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '606265', 'license': 'Apache-2.0', 'n_tokens_mistral': 1383, 'n_tokens_neox': 1377, 'n_words': 225, 'path': 'Sushil Ghimire/PROJECT_Nepali_text_summerizer/Nepali_summerizer.ipynb', 'repo_name': 'bharatnishant/UdacityOpenSource', 'size': '2349'}