<commit_before>## Acerca de
La presente aplicación hace uso del API del DOF para identificar las publicaciones referentes a Normas Oficiales Mexicanas y clasficicarlas.

## Ejecución

Descarga el resumen de la publicación de hoy y entuba el resultado para identificar las secciones referentes a NOMs
  ./src/downloadDOFJSON.py | cut -f3 | src/identifyNOMpublication.py

Identifica la publicación y contenido que hacen referencia a una NOM:
  ./src/identifyNOMpublication.py data/publicaciones-DOF.json 2>/dev/null

### Pruebas
./src/downloadDOFJSON.py 2003-12-8 2003-12-8
cut -f3 data/publicacionesDOF.csv | src/identifyNOMpublication.py 2>/dev/null > data/publicacionesNOMs.csv 
csvquery -q 'select distinct id_dof,organo,id_publicacion_dof,fecha_nom,clave_nom_sugerido,clave_normalizada,titulo,url,todas_claves_nom_en_titulo,primera_palabra from csv' data/publicacionesNOMs.csv | xclip -sel clip

src/identifyNOMpublication.py -f3,5 -H data/publicacionesDOF-1990.csv > data/publicacionesNOMs-1990.csv
csvquery data/publicacionesNOMs-1990.csv data/economiaNOMS.csv -q'select count( distinct clave_NOM) from csv2 where clave_NOM not in (SELECT distinct claveNOMNormalizada from csv)'
csvquery data/publicacionesNOMs-1990.csv data/economiaNOMS.csv -q'select distinct clave_NOM from csv2 where clave_NOM not in (SELECT distinct claveNOMNormalizada from csv)' > data/clavesNoIdentificadas.csv

## Contenido
src/    Contiene el código fuente de la aplicación
data/   Contiene los archivos de datos referentes a las publicaciones del DOF, estos han sido extraidos del API del DOF

## Metodología
El contenido de las publciaciones del DOF ha sido extraido de la siguiente URL:

http://diariooficial.gob.mx/WS_getDiarioFull.php?year=2013&month=07&day=31
http://diariooficial.gob.mx/BB_DetalleEdicion.php?cod_diario=28054
http://diariooficial.gob.mx/nota_detalle.php?codigo=685002&fecha=08/12/2003<commit_msg>Typos y estilo a los comandos<commit_after>## Acerca de
La presente aplicación hace uso del API del DOF para identificar las publicaciones referentes a Normas Oficiales Mexicanas y clasificarlas.

## Ejecución

Descarga el resumen de la publicación de hoy y entuba el resultado para identificar las secciones referentes a NOMs:

`./src/downloadDOFJSON.py | cut -f3 | src/identifyNOMpublication.py`

Identifica la publicación y contenido que hacen referencia a una NOM:

`./src/identifyNOMpublication.py data/publicaciones-DOF.json 2>/dev/null`

### Pruebas
```
./src/downloadDOFJSON.py 2003-12-8 2003-12-8
cut -f3 data/publicacionesDOF.csv | src/identifyNOMpublication.py 2>/dev/null > data/publicacionesNOMs.csv 
csvquery -q 'select distinct id_dof,organo,id_publicacion_dof,fecha_nom,clave_nom_sugerido,clave_normalizada,titulo,url,todas_claves_nom_en_titulo,primera_palabra from csv' data/publicacionesNOMs.csv | xclip -sel clip

src/identifyNOMpublication.py -f3,5 -H data/publicacionesDOF-1990.csv > data/publicacionesNOMs-1990.csv
csvquery data/publicacionesNOMs-1990.csv data/economiaNOMS.csv -q'select count( distinct clave_NOM) from csv2 where clave_NOM not in (SELECT distinct claveNOMNormalizada from csv)'
csvquery data/publicacionesNOMs-1990.csv data/economiaNOMS.csv -q'select distinct clave_NOM from csv2 where clave_NOM not in (SELECT distinct claveNOMNormalizada from csv)' > data/clavesNoIdentificadas.csv
```

## Contenido
`src/`    Contiene el código fuente de la aplicación  
`data/`   Contiene los archivos de datos referentes a las publicaciones del DOF, estos han sido extraidos del API del DOF

## Metodología
El contenido de las publicaciones del DOF ha sido extraido de la siguiente URL:

http://diariooficial.gob.mx/WS_getDiarioFull.php?year=2013&month=07&day=31
http://diariooficial.gob.mx/BB_DetalleEdicion.php?cod_diario=28054
http://diariooficial.gob.mx/nota_detalle.php?codigo=685002&fecha=08/12/2003
{'fraction_non_alphanumeric': 0.08059467918622848, 'fraction_numerical': 0.03390714658320292, 'mean_word_length': 5.704545454545454, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 13, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 4, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3240737', 'n_tokens_mistral': 1443, 'n_tokens_neox': 1388, 'n_words': 344}