<commit_before>\chapter{Collecte, compréhension et préparation des données.}
\epigraph{“Data! Data! Data!” he cried impatiently. “I can’t make bricks without clay.”}{<NAME>}	
\cleardoublepage
\newcommand{\reels}{\mathbb{R}}
	\section{Compréhension et préparation des données locales\protect\footnote{Données disponibles au sein du portail Business Intelligence de l'OCP}}
	\subsection{Compréhension des données locales}
	Comme rappelé dans la section \ref{CGP}. Les travaux de nos prédécesseurs dans leurs efforts de moderniser le portail \textit{Business Intelligence} de l'OCP se sont arrêtés à automatiser l'archivage des données se rapportant aux historiques de ventes en terme de prix et volumes en un premier lieu\cite{CHEMLAL} avant de concevoir le socle OLAP\footnote{le traitement analytique en ligne (OnLine Analytical Processing, OLAP) est un type d'application informatique orienté vers l'analyse sur-le-champ d'informations selon plusieurs axes, dans le but d'obtenir des rapports de synthèse} dans la vue de générer des rapports synthétiques concernant les historiques des échanges du marché des phosphates ensuite\cite{NACER}. Seules sont ainsi présentes les données concernant les échanges internationaux en terme de produits phosphatés et ceux-ci sont présents sous deux différentes formes de données.
					\begin{wrapfigure}[9]{r}{5 cm}
						\raggedleft
						\fbox{\includegraphics[scale=0.5]{IFA-txt}}
						\raggedleft
						\caption{Lecture "machine" du .pdf de la "Trade Matrix" de la figure \ref{fig:IFA-PDF}}
						\label{fig:IFA-TXT}
					\end{wrapfigure}
	La première est notre format de fichier source: des fichiers .pdf  non structurés vis-à-vis de notre besoin (figure \ref{fig:IFA-PDF}), et qui présentent:
		\begin{itemize}
		\item L'avantage d’être à jour, exhaustifs et dont la véracité est certifiée par un organisme international (IFA\footnote{International Fertilizer industry Association: Association Internationale de l'industrie des Fertilisants})
		\item L’inconvénient d’être flexible pour la lecture humaine mais ne présentant pas une grammaire machine formelle rendant possible une analyse syntaxique, comme en témoigne la figure \ref{fig:IFA-TXT}.
			\begin{figure}[H]
			    		\raggedright
		    			\fbox{\includegraphics[scale=0.3]{IFA_EX}}
		    			\captionsetup{justification=raggedright,
		    			singlelinecheck=false
		    			}
			    		\caption{Exemple d'une "Trade Matrix"\protect\footnote{Matrice des imports/exports entre les pays du monde, deux-à-deux, des phosphates et produits dérivés} dans le rapport\\trimestriel de l'IFA}
			    		\label{fig:IFA-PDF}
			\end{figure}	
		\end{itemize}
		
		\paragraph{}
		La seconde est structurée dans des Data-Mart dont une sortie de requête est présentée dans la figure \ref{fig:DMOCP}.
	Ceci est notre format de données cible 
	et présente:
	\begin{itemize}
	\item L'avantage d’offrir le maximum de flexibilité pour le requêtage, et d'être de grande qualité en terme de disponibilité et de véracité, puisque celui-ci a été soigneusement introduit à la main\footnote{À travers une lecture "humaine" des .pdf présentés par la figure \ref{fig:IFA-PDF}}.
	\item L’inconvénient d'être prohibitif en temps et en ressources humaines.
	 En effet, nous avons constaté un retard data de fin décembre 2013 par rapport aux derniers .pdf reçus par l'OCP.
	\end{itemize}
	\begin{figure}[H]
		    		\centering
	    			\includegraphics[scale=0.35]{Table}
		    		\caption{Exemple d'une sortie de requête sur le Data-Mart}
		    		\label{fig:DMOCP}
	\end{figure}
	\subsection{Consolidation des données locales}
	\subsection{Audit et description des données locales consolidées}
	\section{Collecte et préparation des données externes}
	L'étendue des données disponibles au sein du système d'information de l'OCP ne pouvant donner qu'une vue réduite de la situation du marché et ne peuvent de par leur définition révéler les structures socio-économiques,  et de politiques agraires sous-jacentes aux demandes en produits phosphatés, nous nous attellerons à la tâche d'enrichir cette base de données historiques par des données quantitatives concernant les pays du monde.
	\par
	Nous décrivons dans ce qui suit ce processus. 
	\subsection{Collecte des données externes}
	\subsubsection{Énumération et définitions des variables souhaitées }
			Guidés par nos lectures bibliographiques résumées dans les sections \ref{read1} et \ref{read2}, nous nous fixons l'objectif de récolter les indicateurs de politiques agraires et socioéconomiques suivants:
	\begin{itemize}
		\item \textbf{ Access to electricity, rural (\% of rural population):} Fraction de paysans ayant accès à l'électricité.
		\item \textbf{ Access to non-solid fuel, rural (\% of rural population):} Fraction de paysans ayant accès aux fuels non solides.
		\item \textbf{ Account at a financial institution (\% age 15+):} Fraction de personnes âgées de +15 ans ayant un compte chez une institution bancaire.
		\item \textbf{ Net enrollment rate, primary (\% of primary school age children):} Fraction d'enfants scolarisés.
		\item \textbf{ Net national income per capita (constant 2005 US\$):} PIB\footnote{Produit intérieur brut, un des agrégats majeurs des comptes nationaux, il vise à quantifier — pour un pays et une année donnés — la valeur totale de la « production de richesse » effectuée par les agents économiques résidant à l’intérieur de ce territoire (ménages, entreprises, administrations publiques).} par habitant, inflation ajustée au dollar US fin 2005.
		\item \textbf{ Literacy rate, adult total (\% of people ages 15 and above):} Fraction de personnes alphabétisées âgées de +15ans.
		\item \textbf{ Agricultural irrigated land (\% of total agricultural land):} Fraction de terres irriguées parmi les terres exploitées pour l'agriculture.<commit_msg>Compr Local Data finie<commit_after>\chapter{Collecte, compréhension et préparation des données.}
\epigraph{“Data! Data! Data!” he cried impatiently. “I can’t make bricks without clay.”}{<NAME>}	
\cleardoublepage
\newcommand{\reels}{\mathbb{R}}
	\section{Compréhension et préparation des données locales\protect\footnote{Données disponibles au sein du portail Business Intelligence de l'OCP}}
	\subsection{Compréhension des données locales}
	Comme rappelé dans la section \ref{CGP}. Les travaux de nos prédécesseurs dans leurs efforts de moderniser le portail \textit{Business Intelligence} de l'OCP se sont arrêtés à automatiser l'archivage des données se rapportant aux historiques de ventes en terme de prix et volumes en un premier lieu\cite{CHEMLAL} avant de concevoir le socle OLAP\footnote{le traitement analytique en ligne (OnLine Analytical Processing, OLAP) est un type d'application informatique orienté vers l'analyse sur-le-champ d'informations selon plusieurs axes, dans le but d'obtenir des rapports de synthèse} dans la vue de générer des rapports synthétiques concernant les historiques des échanges du marché des phosphates ensuite\cite{NACER}. Seules sont ainsi présentes les données concernant les échanges internationaux en terme de produits phosphatés et ceux-ci sont présents sous deux différentes formes de données.
					\begin{wrapfigure}[9]{r}{5 cm}
						\raggedleft
						\fbox{\includegraphics[scale=0.5]{IFA-txt}}
						\raggedleft
						\caption{Lecture "machine" du .pdf de la "Trade Matrix" de la figure \ref{fig:IFA-PDF}}
						\label{fig:IFA-TXT}
					\end{wrapfigure}
	La première est notre format de fichier source: des fichiers .pdf  non structurés vis-à-vis de notre besoin (figure \ref{fig:IFA-PDF}), et qui présentent:
		\begin{itemize}
		\item L'avantage d’être à jour, exhaustifs et dont la véracité est certifiée par un organisme international (IFA\footnote{International Fertilizer industry Association: Association Internationale de l'industrie des Fertilisants})
		\item L’inconvénient d’être flexible pour la lecture humaine mais ne présentant pas une grammaire machine formelle rendant possible une analyse syntaxique, comme en témoigne la figure \ref{fig:IFA-TXT}.
			\begin{figure}[H]
			    		\raggedright
		    			\fbox{\includegraphics[scale=0.3]{IFA_EX}}
		    			\captionsetup{justification=raggedright,
		    			singlelinecheck=false
		    			}
			    		\caption{Exemple d'une "Trade Matrix"\protect\footnote{Matrice des imports/exports entre les pays du monde, deux-à-deux, des phosphates et produits dérivés} dans le rapport\\trimestriel de l'IFA}
			    		\label{fig:IFA-PDF}
			\end{figure}	
		\end{itemize}
		
		\paragraph{}
		La seconde est structurée dans des Datamart dont une sortie de requête est présentée dans la figure \ref{fig:DMOCP}.
	Ceci est notre format de données cible 
	et présente:
	\begin{itemize}
	\item L'avantage d’offrir le maximum de flexibilité pour le requêtage, et d'être de grande qualité en terme de disponibilité et de véracité, puisque celui-ci a été soigneusement introduit à la main\footnote{À travers une lecture "humaine" des .pdf présentés par la figure \ref{fig:IFA-PDF}}.
	\item L’inconvénient d'être prohibitif en temps et en ressources humaines.
	 En effet, nous avons constaté un retard data de fin décembre 2013 par rapport aux derniers .pdf reçus par l'OCP.
	\end{itemize}
	\begin{figure}[H]
		    		\centering
	    			\includegraphics[scale=0.35]{Table}
		    		\caption{Exemple d'une sortie de requête sur le Datamart OCP-CM}
		    		\label{fig:DMOCP}
	\end{figure}
	\subsection{Consolidation des données locales}
	\subsection{Audit et description des données locales consolidées}
	\section{Collecte et préparation des données externes}
	L'étendue des données disponibles au sein du système d'information de l'OCP ne pouvant donner qu'une vue réduite de la situation du marché et ne peuvent de par leur définition révéler les structures socio-économiques,  et de politiques agraires sous-jacentes aux demandes en produits phosphatés, nous nous attellerons à la tâche d'enrichir cette base de données historiques par des données quantitatives concernant les pays du monde.
	\par
	Nous décrivons dans ce qui suit ce processus. 
	\subsection{Collecte des données externes}
	\subsubsection{Énumération et définitions des variables souhaitées }
			Guidés par nos lectures bibliographiques résumées dans les sections \ref{read1} et \ref{read2}, nous nous fixons l'objectif de récolter les indicateurs de politiques agraires et socioéconomiques suivants:
	\begin{itemize}
		\item \textbf{ Access to electricity, rural (\% of rural population):} Fraction de paysans ayant accès à l'électricité.
		\item \textbf{ Access to non-solid fuel, rural (\% of rural population):} Fraction de paysans ayant accès aux fuels non solides.
		\item \textbf{ Account at a financial institution (\% age 15+):} Fraction de personnes âgées de +15 ans ayant un compte chez une institution bancaire.
		\item \textbf{ Net enrollment rate, primary (\% of primary school age children):} Fraction d'enfants scolarisés.
		\item \textbf{ Net national income per capita (constant 2005 US\$):} PIB\footnote{Produit intérieur brut, un des agrégats majeurs des comptes nationaux, il vise à quantifier — pour un pays et une année donnés — la valeur totale de la « production de richesse » effectuée par les agents économiques résidant à l’intérieur de ce territoire (ménages, entreprises, administrations publiques).} par habitant, inflation ajustée au dollar US fin 2005.
		\item \textbf{ Literacy rate, adult total (\% of people ages 15 and above):} Fraction de personnes alphabétisées âgées de +15ans.
		\item \textbf{ Agricultural irrigated land (\% of total agricultural land):} Fraction de terres irriguées parmi les terres exploitées pour l'agriculture.
{'fraction_non_alphanumeric': 0.07071661797559718, 'fraction_numerical': 0.0053273758377728134, 'mean_word_length': 4.516113744075829, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5765375', 'n_tokens_mistral': 3809, 'n_tokens_neox': 3644, 'n_words': 1417}