MarkovTextGenerator/markov_text_generator.py
def token_is_correct(self, token):
        """
        Подходит ли токен, для генерации текста.
        Допускаются русские слова, знаки препинания и символы начала и конца.
        """
        if self.is_rus_word(token):
            return True
        elif self.ONLY_MARKS.search(token):
            return True
        elif self.END_TOKENS.search(token):
            return True
        elif token in "$^":
            return True
        return False
def token_is_correct(self, token):
        """
        Подходит ли токен, для генерации текста.
        Допускаются русские слова, знаки препинания и символы начала и конца.
        """
        if self.is_rus_word(token):
            return True
        elif self.ONLY_MARKS.search(token):
            return True
        elif self.END_TOKENS.search(token):
            return True
        elif token in "$^":
            return True
        return False
Подходит ли токен, для генерации текста.
        Допускаются русские слова, знаки препинания и символы начала и конца.