<commit_before>#!/usr/bin/env python3.5

import re
from pymystem3.mystem import Mystem



analizer = Mystem()
text = " \
Як умру, то поховайте \
Мене на могилі \
Серед степу широкого \
На Вкраїні милій, \
Щоб лани широкополі, \
І Дніпро, і кручі \
Було видно, було чути, \
Як реве ревучий. \
Як понесе з України \
У синєє море \
Кров ворожу... отойді я \
І лани і гори — \
Все покину, і полину \
До самого Бога \
Молитися... а до того \
Я не знаю Бога. \
Поховайте та вставайте, \
Кайдани порвіте \
І вражою злою кров’ю \
Волю окропіте. \
І мене в сем’ї великій, \
В сем’ї вольній, новій, \
Не забудьте пом’янути \
Незлим тихим словом. \
"

def text_prepare(text):
    text = text.lower()
    pattern = r"[а-яА-ЯґҐЇїіІєЄ'’]+"
    pattern_exp = re.compile(pattern, re.MULTILINE & re.LOCALE)
    return pattern_exp.findall(text)

print(text_prepare(text))
<commit_msg>fixes into text_prepare<commit_after>#!/usr/bin/env python3.5

import re


def text_prepare(text):
    text = text.lower()
    pattern = r"[а-яА-ЯґҐЇїіІєЄ'’]+"
    pattern_exp = re.compile(pattern, re.MULTILINE & re.LOCALE)
    return pattern_exp.findall(text)

{'fraction_non_alphanumeric': 0.12067435669920142, 'fraction_numerical': 0.0044365572315882874, 'mean_word_length': 3.288973384030418, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5168145', 'n_tokens_mistral': 521, 'n_tokens_neox': 585, 'n_words': 126}