<jupyter_start><jupyter_text>Preparando los datos de pobrezaLe meta de este notebook es leer los datos de pobreza de la hoja oficial de Excel y crear un .csv con todos los estados en un solo archivo.<jupyter_code>import pandas as pd
import geopandas as gpd
from zipfile import ZipFile
from pathlib import Path
from datetime import datetime as dt
%matplotlib inline

hoy = dt.today().strftime("%d-%b-%y")

hoy
DATOS_BRUTOS = Path("../../datos/brutos/")
DATOS_INTERINOS = Path("../../datos/interinos/")
DATOS_PROCESADOS = Path("../../datos/procesados/")
DATOS_EXTERNOS = Path("../../datos/externos/")<jupyter_output><empty_output><jupyter_text>Datos pobreza<jupyter_code>ZipFile(DATOS_BRUTOS / 'Base de datos de pobreza AGEB segun entidad federativa 2015.zip').extractall(DATOS_INTERINOS / 'datos_pobreza')
archivo_excel = pd.ExcelFile(DATOS_INTERINOS / 'datos_pobreza' / 'Base de datos de pobreza AGEB segun entidad federativa 2015.xlsx')
archivo_excel.sheet_names
pestañas_archivos = archivo_excel.sheet_names[1:].copy()
pestañas_archivos<jupyter_output><empty_output><jupyter_text>Nota: Cada pestaña tiene la tabla de un estado. Los encabezados estan en la línea 5 pero los datos no comienzan hasta la línea 8.<jupyter_code>estados = pd.concat((archivo_excel.parse(estado, header = 4, usecols = ['Clave de \nAGEB', 'Entidad \nfederativa', 'Municipio', 'Rango de pobreza (%)', 'Rango de pobreza extrema (%)']) for estado in pestañas_archivos), ignore_index = True)
estados.head()
estados.dropna(axis = 1, how = 'all', inplace = True)
estados.dropna(how = 'any', inplace = True)

estados.columns = ['Entidad Federativa', 'Municipio', 'CVEGEO',  'Rango de pobreza (%)', 'Rango de pobreza extrema (%)']

estados.head()
estados.to_csv(DATOS_PROCESADOS / 'agebs.csv', index = False, encoding = 'utf-8')<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.12643678160919541, 'fraction_numerical': 0.007662835249042145, 'mean_word_length': 5.770370370370371, 'pattern_counts': {'":': 0, '<': 13, '<?xml version=': 0, '>': 13, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '651292', 'license': 'MIT', 'n_tokens_mistral': 704, 'n_tokens_neox': 692, 'n_words': 173, 'path': 'src/datos/prep-datos-pobreza.ipynb', 'repo_name': 'chekos/probando-voila', 'size': '1827'}