def tokenize(text):
    tokens = nltk.word_tokenize(text)
tokens = [i for i in tokens if i not in string.punctuation]
stems = stem_tokens(tokens, stemmer)
return stems
Объединение выделения текста и удаления пунктуации в NLTK и scikit-learn