
statistica, quando si stima un parametro, la semplice individuazione di un singolo valore è spesso non sufficiente.
È opportuno allora accompagnare la stima di un parametro con un intervallo di valori plausibili per quel parametro, che viene definito intervallo di confidenza (o intervallo di fiducia).
Se formula_1 e formula_2 sono variabili casuali con distribuzioni di probabilità che dipendono da qualche parametro formula_3 e formula_4 (dove formula_5 è un numero tra 0 e 1), allora l'intervallo casuale formula_6 è un intervallo di confidenza al formula_7 per formula_8. I valori estremi dell'intervallo di confidenza si chiamano "limiti di confidenza".
Ad esso si associa quindi un valore di probabilità cumulativa che caratterizza, indirettamente in termini di probabilità, la sua ampiezza rispetto ai valori massimi assumibili dalla variabile aleatoria misurando cioè la probabilità che l'evento casuale descritto dalla variabile aleatoria in oggetto cada all'interno di tale intervallo, graficamente pari all'area sottesa dalla curva di distribuzione di probabilità della variabile aleatoria nell'intervallo considerato.
È bene non confondere l'intervallo di confidenza con la probabilità. Data l'espressione "vi è un livello di confidenza del 95% che formula_9 sia nell'intervallo", nulla si può dire sulla probabilità che l'intervallo ottenuto contenga formula_10
Si ipotizzi di voler calcolare l'età media degli abitanti di un luogo. Supponiamo che non si conosca l'età per ogni singolo abitante. Viene allora estratto un campione casuale di abitanti di cui è possibile sapere l'età, e dal campione si tenta di inferire ("predire") l'età media per tutta la popolazione residente e la variabilità di tale dato. Questo può essere fatto calcolando, ad esempio, l'età media delle persone presenti nel campione e ipotizzando che questo valore coincida con l'età media di tutta la popolazione inclusa quella non scelta nel campione. In questo caso si è fatta una "stima puntuale". Alternativamente, a partire dalle età delle persone nel campione, si può calcolare un intervallo di valori entro il quale si ritenga ci sia il valore della media di tutta la popolazione e, se la procedura è fatta in modo rigoroso e statisticamente corretto, è possibile stabilire un valore di "confidenza" di quanto sia "credibile" che l'intervallo ottenuto contenga effettivamente il valore cercato. In questo caso si è fatta una "stima per intervalli" e l'intervallo ottenuto è detto "intervallo di confidenza".
Riassumendo: la stima puntuale fornisce un valore singolo che varia a seconda del campione, e difficilmente coincide con il valore vero della popolazione; la stima per intervalli fornisce un insieme di valori (intervallo) che con una certa "confidenza" contiene il valore vero della popolazione.
Se formula_11 è una variabile aleatoria di media formula_9 e varianza formula_13 con formula_14 si indica la variabile campionaria corrispondente che ha media aritmetica degli formula_15 dati osservati nel campione
e deviazione standard
Il livello di confidenza è fissato dal ricercatore. Il valore scelto più di frequente è 95%. Tuttavia, meno di frequente, viene scelto anche un livello di confidenza del 90%, oppure del 99%.
Se il valore di formula_18 non differisce molto dalla variabilità formula_19 della popolazione, può essere assunto come suo stimatore (ad esempio con un numero di soggetti osservati e replicazioni complessivamente maggiore di 60; in alternativa si ipotizza una distribuzione t di Student caratterizzata da una maggiore dispersione rispetto alla normale standard). In questa prima ipotesi, l'intervallo di confidenza per la media formula_9 ("vera media", della popolazione) al 99% (al livello formula_21), è dato da:
Al 95% è dato da:
Prima della diffusione dei computer si cercava di utilizzare l’approssimazione normale ogni qualvolta possibile. Adesso non è più strettamente necessario, e nella formula possono essere utilizzati percentili di altre distribuzioni, facendo rifierimento a campioni di dimensione più ridotta).
Dalle formule risulta che i due intervalli di confidenza possono essere scritti in funzione dei "soli dati campionari" formula_24.
Oltre a diminuire con il livello di confidenza, l'ampiezza dell'intervallo dipende dall'errore della stima formula_25 e diminuisce se:
Qualora la popolazione non segua il modello gaussiano, se il campione è grande a sufficienza, la variabile campionaria tende a seguire comunque una legge normale (teorema centrale del limite). In altre parole, le due formule precedenti per l'intervallo di confidenza si possono usare anche nel caso in cui non è nota la sua legge di probabilità.
Il livello di confidenza o copertura è il complemento a uno del livello di significatività formula_27: ad esempio, un intervallo di confidenza al formula_28 corrisponde a un livello di significatività di formula_29.
Gli intervalli di confidenza sono spesso confusi con altri concetti della statistica, e talora oggetto di errate interpretazioni anche da parte di ricercatori professionisti. Alcuni errori comuni:
Gli intervalli di confidenza furono introdotti da Jerzy Neyman in un articolo pubblicato nel 1937.
C'è un metodo agevole per il calcolo degli intervalli di confidenza attraverso il test di verifica d'ipotesi (secondo l'impostazione di Neyman).
Un intervallo di confidenza al 95% si può quindi ricavare da un test di verifica d'ipotesi di significatività 5%.


Il data mining (letteralmente dall'inglese "estrazione di dati") è l'insieme di tecniche e metodologie che hanno per oggetto l'estrazione di informazioni utili da grandi quantità di dati (es. database, datawarehouse ecc...), attraverso metodi automatici o semi-automatici (es. machine learning) e l'utilizzo scientifico, aziendale/industriale o operativo delle stesse.
La statistica può essere definita altrimenti come ""estrazione di informazione utile da insiemi di dati"".
Il concetto di "data mining" è simile, ma con una sostanziale differenza: la statistica permette di elaborare informazioni generali riguardo ad una popolazione (es. percentuali di disoccupazione, nascite), mentre il "data mining "viene utilizzato per cercare correlazioni tra più variabili relativamente ai singoli individui; ad esempio conoscendo il comportamento medio dei clienti di una compagnia telefonica cerco di prevedere quanto spenderà il cliente medio nell'immediato futuro.
In sostanza il data mining è ""l'analisi, da un punto di vista matematico, eseguita su database di grandi dimensioni"", preceduta tipicamente da altre fasi di preparazione/trasformazione/filtraggio dei dati come il data cleaning. Il termine "data mining" è diventato popolare nei tardi anni novanta come versione abbreviata della definizione appena esposta; oggi il "data mining" ha una duplice valenza:
In entrambi i casi i concetti di informazione e di significato sono legati strettamente al dominio applicativo in cui si esegue data mining, in altre parole un dato può essere interessante o trascurabile a seconda del tipo di applicazione in cui si vuole operare.
Questo tipo di attività è cruciale in molti ambiti della ricerca scientifica, ma anche in altri settori (per esempio in quello delle ricerche di mercato). Nel mondo professionale è utilizzata per risolvere problematiche diverse tra loro, che vanno dalla gestione delle relazioni con i clienti (CRM), all'individuazione di comportamenti fraudolenti, fino all'ottimizzazione di siti web.
I fattori principali che hanno contribuito allo sviluppo del data mining sono:
Le tecniche di data mining sono fondate su specifici algoritmi. I pattern identificati possono essere, a loro volta, il punto di partenza per ipotizzare e quindi verificare nuove relazioni di tipo causale fra fenomeni; in generale, possono servire in senso statistico per formulare previsioni su nuovi insiemi di dati.
Un concetto correlato al data mining è quello di apprendimento automatico ("Machine learning"); infatti, l'identificazione di pattern può paragonarsi all'apprendimento, da parte del sistema di data mining, di una relazione causale precedentemente ignota, cosa che trova applicazione in ambiti come quello degli algoritmi euristici e dell'intelligenza artificiale. Tuttavia, occorre notare che il processo di data mining è sempre sottoposto al rischio di rivelare relazioni causali che poi si rivelano inesistenti.
Tra le tecniche maggiormente utilizzate in questo ambito vi sono:
Un'altra tecnica molto diffusa per il data mining è l'apprendimento mediante classificazione. Questo schema di apprendimento parte da un insieme ben definito di esempi di classificazione per casi noti, dai quali ci si aspetta di dedurre un modo per classificare esempi non noti. Tale approccio viene anche detto "con supervisione" ("supervised"), nel senso che lo schema di apprendimento opera sotto la supervisione fornita implicitamente dagli esempi di classificazione per i casi noti; tali esempi, per questo motivo, vengono anche detti "training examples", ovvero "esempi per l'addestramento". La conoscenza acquisita per apprendimento mediante classificazione può essere rappresentata con un albero di decisione.
L'estrazione dei dati vera e propria giunge quindi al termine di un processo che comporta numerose fasi: si individuano le fonti di dati; si crea un unico set di dati aggregati; si effettua una pre-elaborazione (data cleaning, analisi esplorative, selezione, ecc.); si estraggono i dati con l'algoritmo scelto; si interpretano e valutano i pattern; l'ultimo passaggio va dai pattern alla nuova conoscenza così acquisita.
Vi sono diverse proposte e tecniche aventi ognuna specifiche caratteristiche e vantaggi.
Che cosa "è" "data mining"?
Che cosa "non è" "data mining"?
È una forma particolare di data mining nella quale i dati consistono in testi in lingua naturale, in altre parole, documenti "destrutturati". Il text mining unisce la tecnologia della lingua con gli algoritmi del data mining. L'obiettivo è sempre lo stesso: l'estrazione di informazione implicita contenuta in un insieme di documenti.
Ha avuto un notevole sviluppo, grazie ai progressi delle tecniche di elaborazione del linguaggio naturale (NLP in inglese), della disponibilità di applicazioni complesse attraverso gli "Application service provider" (ASP) e dell'interesse verso le tecniche automatiche di gestione della lingua mostrato sia dagli accademici, sia dai produttori di software, sia dai gestori dei motori di ricerca.
Una delle evoluzioni più recenti del data mining è la "data visualisation". Settore specialistico dell'infografica, la data visualisation si occupa non solamente di rendere graficamente intelligibile un testo, ma entra in relazione più diretta con la strutturazione dei database e l'esportazione di grafici dai dati.
Un'altra nuova frontiera è il «social data mining»: l'analisi di informazioni generate dalle reti sociali online, come ad esempio l'analisi del sentiment.
L'utilizzo del data mining nella ricerca di mercato è volto ad ampliare la conoscenza su cui basare i processi decisionali. Nel contesto aziendale il data mining è considerato parte del processo che porta alla creazione di un data warehouse. È efficace soprattutto per la valorizzazione delle informazioni aziendali residenti in questi grandi depositi di dati. Affinché l'informazione estratta dai dati esistenti sia significativa, e quindi potenzialmente utile, deve essere:
In questo contesto, un pattern (schema) non è altro che la rappresentazione delle relazioni chiave che vengono scoperte durante il processo di estrazione dati: sequenze ripetute, omogeneità, emergenza di regole, ecc. Per esempio, se un pattern mostra che i clienti di una certa area demografica sono molto propensi ad acquistare uno specifico prodotto, allora un'interrogazione ("query") selettiva ad un data warehouse di probabili compratori può essere usata per generare un elenco di indirizzi promozionali.
L'esempio classico spesso usato nei corsi universitari è quello di una catena non meglio specificata di supermercati (probabilmente statunitense) che avrebbe scoperto, analizzando gli scontrini, qualcosa altrimenti difficilmente immaginabile: le persone che acquistavano pannolini spesso compravano più birra degli altri, per cui mettendo la birra più costosa non lontano dai pannolini, poteva incrementarne le vendite. Infatti quelle persone che avevano figli piccoli passavano più serate in casa a guardare la TV bevendo birra in casa non potendo uscire con gli amici. È doveroso tuttavia precisare che non è chiaro quale sia la catena di supermercati in questione, e l'esempio, seppur ottimo per scopi didattici e largamente utilizzato anche in ambito giornalistico, potrebbe essere stato inventato così come potrebbe essere vero.
