# Path: nfq/tweemanager/tools.py
# def textclean(rawtext):
#     """
#     """
#     finetweet = ""
#     try:
#         # Proceso original pero se estaba perdiendo alguna información:
#         # Quita los RT's:
#         text_clean = rawtext.replace('RT ', '')
#         # todo en letras pequeñas:
#         text_clean = text_clean.lower()
#         # reemplaza urls por URL:
#         text_clean = re.sub(
#             '((www\.[^\s]+)|(https?://[^\s]+))', 'URL', text_clean)
#         # Quita mentions y pone AT_MENTION
#         text_clean = re.sub('@[^\s]+', 'AT_MENTION', text_clean)
#         # Reemplaza #palabra por palabra:
#         text_clean = re.sub(r'#([^\s]+)', r'\1', text_clean)
#         # Limpia puntuacion:
#         text_clean = repunctuacion.sub('', text_clean)
#         # quita acentos:
#         try: # Python 2
#             text_clean = unicode(text_clean)
#         except: # Python 3
#             pass
#         text_clean = ''.join((c for c in unicodedata.normalize(
#             'NFD', text_clean) if unicodedata.category(c) != 'Mn'))
#         # Limpia palabras repetidas y consecutivas:
#         text_clean = re.sub(r'\b(\w+)( \1\b)+', r'\1', text_clean)
#         # Reemplaza espacios extra
#         text_clean = re.sub('[\s]+', ' ', text_clean)
#         # y añade un trimzito
#         finetweet = text_clean.strip('\'"')
#     except:
#         logging.debug("unable to clean text {}".format(rawtext))
#     finally:
#         return finetweet


import pymongo
import datetime
import json
import datetime as dt
from bson.code import Code
from nfq.tweemanager.tools import textclean
                'hasta',
                'hay',
                'donde',
                'quien',
                'desde',
                'todo',
                'nos',
                'durante',
                'todos',
                'uno',
                'les',
                'ni',
                'contra',
                'otros',
                'ese',
                'eso',
                'ante',
                'ellos',
                'e',
                'esto',
                'mí',
                'antes',
                'algunos',
                'qué',
                'unos',
                'yo',
                'otro',
                'otras',
                'otra',
                'él',

# Path: nfq/tweemanager/tools.py
# def textclean(rawtext):
#     """
#     """
#     finetweet = ""
#     try:
#         # Proceso original pero se estaba perdiendo alguna información:
#         # Quita los RT's:
#         text_clean = rawtext.replace('RT ', '')
#         # todo en letras pequeñas:
#         text_clean = text_clean.lower()
#         # reemplaza urls por URL:
#         text_clean = re.sub(
#             '((www\.[^\s]+)|(https?://[^\s]+))', 'URL', text_clean)
#         # Quita mentions y pone AT_MENTION
#         text_clean = re.sub('@[^\s]+', 'AT_MENTION', text_clean)
#         # Reemplaza #palabra por palabra:
#         text_clean = re.sub(r'#([^\s]+)', r'\1', text_clean)
#         # Limpia puntuacion:
#         text_clean = repunctuacion.sub('', text_clean)
#         # quita acentos:
#         try: # Python 2
#             text_clean = unicode(text_clean)
#         except: # Python 3
#             pass
#         text_clean = ''.join((c for c in unicodedata.normalize(
#             'NFD', text_clean) if unicodedata.category(c) != 'Mn'))
#         # Limpia palabras repetidas y consecutivas:
#         text_clean = re.sub(r'\b(\w+)( \1\b)+', r'\1', text_clean)
#         # Reemplaza espacios extra
#         text_clean = re.sub('[\s]+', ' ', text_clean)
#         # y añade un trimzito
#         finetweet = text_clean.strip('\'"')
#     except:
#         logging.debug("unable to clean text {}".format(rawtext))
#     finally:
#         return finetweet


# Path: nfq/tweemanager/reportermanager.py
import pymongo
import datetime
import json
import datetime as dt
from bson.code import Code
from nfq.tweemanager.tools import textclean

                'hasta',
                'hay',
                'donde',
                'quien',
                'desde',
                'todo',
                'nos',
                'durante',
                'todos',
                'uno',
                'les',
                'ni',
                'contra',
                'otros',
                'ese',
                'eso',
                'ante',
                'ellos',
                'e',
                'esto',
                'mí',
                'antes',
                'algunos',
                'qué',
                'unos',
                'yo',
                'otro',
                'otras',
                'otra',
                'él',

                'tanto',