def tokenize(text):
    text = ''.join([ch for ch in text if ch not in string.punctuation])
tokens = nltk.word_tokenize(text)
stems = stem_tokens(tokens, stemmer)
Объединение выделения текста и удаления пунктуации в NLTK и scikit-learn