<commit_before># Préparation des données

## Importation des données brutes

## Construction de la base d'entrée du modèle
<commit_msg>Update data.md<commit_after># Préparation des données

## Importation des données brutes

Le modèles de taxation indirecte peut être alimenter par des données d'enquête.
Il est pariculièrement adapté aux données de l'enquête [budget des familles] (http://www.reseau-quetelet.cnrs.fr/spip/article.php3?id_article=128&lang=fr&ords_target=simple&ords_source=simple_form)
de l'INSEE telles que livrées par le [réseau Quetelet] (http://www.reseau-quetelet.cnrs.fr/spip/).

Afin de manipuler les tables des différentes enquêtes budget des familles par l'intermdéiaire de programmes écrit en python, il convient de convertir les données brutes sous le format [HDF5] (https://www.hdfgroup.org/HDF5/). Sous ce format, les tables sont aisément manipulables à l'aide de la bibliothèque [pandas] (pandas.pydata.org).
La conversion est réalisée par le script [build_collection] (https://github.com/openfisca/openfisca-survey-manager/blob/master/openfisca_survey_manager/scripts/build_collection.py) fourni avec le package [openfisca-survey-manager] (https://github.com/openfisca/openfisca-survey-manager).

Les années traitées sont 2011, 2005, 2000.

## Construction de la base d'entrée du modèle

La construction de la base d'entrée du modèle à partir des données d'enquête, une fois celle-ci converties au format HDF5 se fait en [plusieurs étapes] (https://github.com/openfisca/openfisca-france-indirect-taxation/tree/master/openfisca_france_indirect_taxation/build_survey_data).   
{'fraction_non_alphanumeric': 0.08717310087173101, 'fraction_numerical': 0.011830635118306352, 'mean_word_length': 5.668049792531121, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 4, 'lorem ipsum': 0, 'www.': 3, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3567380', 'n_tokens_mistral': 559, 'n_tokens_neox': 558, 'n_words': 158}