def preprocess(self, text):
    text = re.sub('&[^;]+;', ' ', text)
    text = mojimoji.han_to_zen(text, digit=False)
    text = re.sub('(\t |\u3000)+', ' ', text)
    return text
def preprocess(self, text):
    text = re.sub('&[^;]+;', ' ', text)
    text = mojimoji.han_to_zen(text, digit=False)
    text = re.sub('(\t |\u3000)+', ' ', text)
    return text