<jupyter_start><jupyter_text>Utilizando https://cfenollosa.com/blog/diccionario-libre-en-espanol---free-spanish-dictionary.html<jupyter_code>import pandas as pd
dicc = pd.read_csv('palabras.csv',low_memory=False)
dicc.shape
dicc.sample(n=20)
tipos_de_palabras = dicc.tipo.dropna().unique()
len(tipos_de_palabras)
tipos_verbos_neutros = {t for t in tipos_de_palabras if ('verbo' in t) and ('participio' not in t)}
tipos_neutros = [
    'adverbio',
    'nombre/ambiguo',
    'nombre/común',
] + list(tipos_verbos_neutros)
len(tipos_neutros)
palabras_neutras = dicc[dicc['tipo'].isin(tipos_neutros) & dicc['género'].isnull()]
def replace_name(name):
    if 'verbo' in name:
        name = 'verbo'
    return name
palabras_neutras['tipo'] = palabras_neutras['tipo'].apply(replace_name)
(palabras_neutras.tipo.unique())
origen = dicc['origen'].unique()
palabras_neutras[palabras_neutras['tipo'] == 'verbo']
groups = palabras_neutras.groupby('tipo')
for name,group_df in groups:
    name = (name.replace('/','_'))
    group_df['palabra'].to_csv(f'palabras_neutras/dicc_libre/{name}',columns=['palabra'],index=False)
palabras_neutras_dicc = list(palabras_neutras.palabra)
palabras_neutras_dicc[:10]
palabras_neutras.to_csv(f'palabras_neutras/dicc_libre/todas',columns=['palabra'],index=False)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.155893536121673, 'fraction_numerical': 0.003041825095057034, 'mean_word_length': 7.382165605095541, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '432141', 'license': 'CC0-1.0', 'n_tokens_mistral': 550, 'n_tokens_neox': 553, 'n_words': 66, 'path': 'Palabras Neutras Diccionario Libre.ipynb', 'repo_name': 'git-lu/palabras-neutras', 'size': '1315'}