<jupyter_start><jupyter_text>Stage Informatica - Data Anlysis and Intelligent System  IntroduzioneIn risposta all'incremento esponenzile negli ultimi anni dell'afflusso di dati, l'ambito Data Science è stato completamente rivoluzionato nell'ultimo decennio. Questa disciplina è stata portata avanti da persone provenienti da una vasta gamma di campi - statistica, fisica, informatica, design e molti altri - l'ambito Data Science rappresenta il desiderio collettivo di comprendere e sfruttare l'abbondanza di dati che ci circonda.Argomenti trattati:- Big Data- Data Analysis- Intelligent Systems  Big Data Cosa sono i Big Data?- Quantità e flusso di dati così grande e complesso che le tradizionali tecnologie (SQL) di data managment non riescono a gestire- NoSQL databases sono emersi grazie alla loro capacità di gestire big data    - Fondamentale riuscire ad estrarre informazioni utili e prezione- Sistemi di intelligenza artificiale riscono a riconoscere pattern all'interno di grandi volumi di dati    - Esempio: Identificare abitudini di:        - Acquisto        - Visione e ascolto        - Interazione   Esempi Amazon Shopping**Dati**: Storico acquisti, Informazioni demografiche. **Analisi**: Potenziali acquisti. **Prodotto**: Plubbicità Ad-Hoc.  Uber**Dati**: Storico Corse, Traffico, Richieste. **Analisi**: Picchi di domanda, Variazione della disponibilità dei driver. **Prodotto**: Aggiustamento del prezzo della corsa.  Netflix**Dati**: Contenuti guardati, Interazione con la piattaforma. **Analisi**: Titoli preferiti, Livello di attenzione, Pattern di visualizzazione. **Prodotto**: Titotli da consigliare, Prodotto su cui investire.   Web Data MiningIl Web è la più grande sorgente di informazione pubblicamente accessibile al mondo:- **Enorme quantità di dati**: in continua crescita, info su quasi qualunque cosa - **Eterogeneità del formato dei dati**: tabelle, pagine web (immagini, audio, video) - **Eterogeneità dell'informazione**- **Rumore e ridondanza** → (content mining), adattabilità del contenuto - **Dinamico**: info cambia nel tempo → monitoraggio cambiamenti- **Società virtuale**: forum, blog, siti di review, reti sociali → opinion mining, social network analysis Esempio:**[Twitter Analysis](http://bigdata.stratebi.com)** **Problema**: Predizione gusti degli utenti. **Misura di prestazione**: Percentuale tweet correttamente analizzati. **Esperienza**: Utenti già profilati e relazioni già osservate.   DatasetUn dataset è una collezione di dati. Nel caso di dati tabulari, un set di dati corrisponde a una o più tabelle di un database, dove ogni colonna di una tabella rappresenta una particolare variabile, e ogni riga corrisponde a un dato record del set di dati in questione.   Risorse:- [Google Datasets](https://research.google/tools/datasets)- [Kaggle](https:www.kaggle.com)    - Competizioni:        - Esempi di problemi reali        - Compenso economico per il vincitore        - Esempi:            - [H&M](https://www.kaggle.com/c/h-and-m-personalized-fashion-recommendations)            - [Titanic](https://www.kaggle.com/c/titanic)            - [G-Research Crypto Forecasting](https://www.kaggle.com/c/g-research-crypto-forecasting)            - [Feedback Prize - Evaluating Student Writing](https://www.kaggle.com/c/feedback-prize-2021)      [Pandas](https://pandas.pydata.org) Tutorial **Cos'è Pandas?**- Pandas è una libreria Python scritta per la manipolazione e l'analisi dei dati. - DataFrame Object per la manipolazione dei dati con indicizzazione.- Strumenti per leggere e scrivere dati tra strutture dati e diversi formati.- Fusione e unione di data sets- Inserimento e cancellazione di colonne e righe- Allineamento dei dati e gestione integrata dei dati mancanti- La libreria è altamente ottimizzata per le prestazioni, con codice scritto in Cython o C.  Parte 1 - IntroduzioneIl primo passaggio è importare Pandas: Dopodiché bisogna importare il nostro primo Dataset:[Avocado Price](https://www.kaggle.com/neuromusic/avocado-prices?select=avocado.csv) Per poter visualizzare il nostro dataset abbiamo più possivilità:- Per "intero"- Head or Tail Possiamo farci restituire una porzione del dataset: Inoltre possiamo aggiungere una condizione:  ESERICIZIO 1**Estrarre una porzione del dataset per la quale la regione è uguale a "Boston"**<jupyter_code>boston_avocado_df =<jupyter_output><empty_output><jupyter_text>Andiamo a verificare il risultato: Il dataframe dovrebbe essere indicizzato da un elenento. Nel nostro caso l'indice è senza significato, bisognerebbe trovare un dato che mette in relazione tutte le righe! Problema uguale a prima, se l'oggetto dataframe non viene ridefinito in una variabile il contenuto sarà perso a meno che: Facciamo un plot dei nostri dati: Meglio fare il plot di un elemento alla volta! **Problema**: Pandas non riconosce che sono dateBisogna riassegnare l'indice con un nuovo tipo -> datetime Proviamo a rifare il plot! **Problema**: Troppe oscillazione, conviene utilizzare una media mobile Questa colonna potrebbe essere utile in futuro! Come facciamo a renderla una colonna del dataset? NaN = Not A Number Bisognerà rimuovere tutti le righe che sono uguali a NaN Possiamo estrarre dal dataframe colonne con diversi formati:- Array- Liste Oppure più semplicemente:<jupyter_code># Pandas ha molto spesso ha già delle funzione che sono più veloci di qualsiasi funzione che voi potreste implementare<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.07054706207404679, 'fraction_numerical': 0.0011051759071652237, 'mean_word_length': 4.927947598253275, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 10, 'https://': 7, 'lorem ipsum': 0, 'www.': 6, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '137921', 'license': 'MIT', 'n_tokens_mistral': 1719, 'n_tokens_neox': 1701, 'n_words': 654, 'path': 'lesson_1.ipynb', 'repo_name': 'andreascaudo/data_analysis_lab', 'size': '5429'}