
L'analisi delle componenti principali (in inglese "principal component analysis" o abbreviata "PCA"), anche nota come trasformata di Karhunen-Loève, trasformata di Hotelling o decomposizione ortogonale propria, è una tecnica per la semplificazione dei dati utilizzata nell'ambito della statistica multivariata. Questo metodo fu proposto per la prima volta nel 1901 da Karl Pearson e sviluppato poi da Harold Hotelling nel 1933, e fa parte dell'analisi fattoriale. Lo scopo della tecnica è quello di ridurre il numero più o meno elevato di variabili che descrivono un insieme di dati a un numero minore di variabili latenti, limitando il più possibile la perdita di informazioni.
Ciò avviene tramite una trasformazione lineare delle variabili che proietta quelle originarie in un nuovo sistema cartesiano in cui la nuova variabile con la maggiore varianza viene proiettata sul primo asse, la variabile nuova, seconda per dimensione della varianza, sul secondo asse e così via.
La riduzione della complessità avviene limitandosi ad analizzare le principali, per varianza, tra le nuove variabili.
Diversamente da altre trasformazioni lineari di variabili praticate nell'ambito della statistica, in questa tecnica sono gli stessi dati che determinano i vettori di trasformazione.
Assumendo che a ciascuna delle variabili originarie venga sottratta la loro media e pertanto la nuova variabile (X) abbia media nulla,
Dove arg max indica l'insieme degli argomenti "w" in cui è raggiunto il massimo. Con i primi (k-1) componenti, il k-esimo componente può essere trovato sottraendo i primi (k-1) componenti principali a "X"
e sostituendo questo
Un metodo più semplice per calcolare la componente w utilizza la matrice delle covarianze di x. La stessa operazione può essere eseguita partendo dalla matrice dei coefficienti di correlazione anziché dalla matrice di varianza-covarianza delle variabili "x".
Innanzitutto si devono trovare gli autovalori della matrice di covarianza o della matrice dei coefficienti di correlazione. Si ottengono tanti autovalori quante sono le variabili x. Se viene utilizzata la matrice di correlazione, l'autovalore relativo alla prima componente principale, ossia quella con varianza massima, sarà pari ad 1. In ogni caso l'autovalore con il maggiore valore corrisponde alla dimensione w che ha la maggiore varianza: esso sarà dunque la varianza della componente principale 1. In ordine decrescente, il secondo autovalore sarà la varianza della componente principale 2, e così via per gli n autovalori. Per ciascun autovalore viene calcolato il corrispondente autovettore, ossia la matrice (riga vettore) dei coefficienti che moltiplicano le vecchie variabili x nella combinazione lineare per l'ottenimento delle nuove variabili w. Questi coefficienti sono anche definiti loading. La matrice degli autovettori, ossia la matrice che ha per riga ciascun autovettore prima calcolato, è la cosiddetta matrice di rotazione V. Eseguendo l'operazione matriciale formula_4, dove W è il vettore colonna avente come elementi le nuove variabili w1, w2, ..., wn e X è il vettore colonna avente come elementi le "vecchie variabili" x1, x2, ..., xn, si possono trovare le coordinate di ciascun punto nel nuovo spazio vettoriale. Utilizzando le coordinate per ciascun punto relative alle componenti principali si costruisce il grafico denominato score plot. Se le componenti principali sono 3 si avrà un grafico tridimensionale, se sono 2 sarà bidimensionale, se invece si è scelta una sola componente principale lo score plot sarà allora monodimensionale. Mediante lo score plot è possibile verificare quali dati sono simili tra di loro e quindi si può ad esempio dedurre quali campioni presentano la medesima composizione.
In PCA esiste anche un altro tipo di grafico, definito loading plot, in cui sono le variabili x ad essere riportate nel nuovo sistema avente per assi le componenti principali. Con questo tipo di grafico è possibile osservare se due variabili sono simili, e pertanto forniscono lo stesso tipo di informazione, oppure se sono distanti (e quindi non sono simili).
Quindi gli elementi dell'autovettore colonna corrispondente a un autovalore esprimono il legame tra le variabili di partenza e la componente considerata attraverso dei pesi. Il numero di variabili latenti da considerare come componenti principali si fonda sulla grandezza relativa di un autovalore rispetto agli altri. Invece nel caso in cui sia l'operatore a scegliere le componenti principali senza considerare la relativa varianza espressa dai rispettivi autovalori, si ha un supervised pattern recognition.
Si può costruire la matrice dei fattori, in pratica una matrice modale, che elenca per riga le variabili originarie e per colonna le variabili latenti: ogni valore, compreso tra 0 e 1, dice quanto le seconde incidano sulle prime.
Invece la matrice del punteggio fattoriale ha la stessa struttura della precedente, ma dice quanto le singole variabili originarie abbiano pesato sulla determinazione della grandezza di quelle latenti.
Si supponga di disporre di un'indagine che riporta per 10 soggetti: voto medio (da 0 a 33), intelligenza (da 0 a 10), media ore studiate in un giorno e zona d'origine, che varia da 1 a 3. Si standardizzino i valori con la formula:
formula_5
E(x) è il valore atteso di X, ovvero il valor medio, SD è la deviazione standard.
La matrice dei coefficienti di correlazione è:
La diagonale principale è composta da valori uguali ad 1 perché è il coefficiente di correlazione di una variabile con se stessa. È pure una matrice simmetrica perché il coefficiente di correlazione tra la variabile "x" e la variabile "y" è uguale a quello tra "y" e "x". Si vede come ci sia un forte legame tra voto, media ore studio e intelligenza.
Dall'analisi degli autovalori si possono trarre conclusioni:
Gli autovalori sono in ordine decrescente e il loro rapporto con la somma degli autovalori dà la percentuale di varianza che spiegano. Sono stati selezionati arbitrariamente solo quelli che hanno valore maggiore di 1 in quanto più significativi, che spiegano il 70,708% e il 26,755% rispettivamente.
Si osservi alla matrice delle componenti principali:
Il fattore 1 pesa fortemente sul voto medio. Sembrerebbe pure che pesi in maniera negativa sulla variabile della zona di origine; chiaramente questa affermazione non ha senso perché inverte il nesso di causalità: spetta allo statistico dare una spiegazione e una lettura sensate.
Si calcoli quindi la matrice di punteggio fattoriale:
Come si vede la variabile provenienza continua ad avere un influsso di segno negativo sull'autovalore principale. Le altre variabili invece hanno peso positivo.


Lo scarto quadratico medio (o deviazione standard o scarto tipo) è un indice di dispersione statistico, vale a dire una stima della variabilità di una popolazione di dati o di una variabile casuale.
È uno dei modi per esprimere la dispersione dei dati intorno ad un indice di posizione, quale può essere, ad esempio, la media aritmetica o una sua stima. Ha pertanto la stessa unità di misura dei valori osservati (al contrario della varianza che ha come unità di misura il quadrato dell'unità di misura dei valori di riferimento). In statistica la precisione si può esprimere come lo scarto quadratico medio.
Il termine ""standard deviation"" è stato introdotto in statistica da Pearson nel 1894 assieme alla lettera greca formula_1 (sigma) che lo rappresenta. Il termine italiano "deviazione standard" ne è la traduzione più utilizzata nel linguaggio comune; il termine dell'Ente Nazionale Italiano di Unificazione è tuttavia "scarto tipo", definito come la radice quadrata positiva della varianza per lo meno fin dal 1984.
Se non indicato diversamente, lo scarto quadratico medio è la radice quadrata della varianza, la quale viene coerentemente rappresentata con il quadrato di sigma (formula_2).
In statistica lo scarto quadratico medio di un carattere rilevato su una popolazione di formula_3 unità statistiche si definisce esplicitamente come:
dove formula_5 è la media aritmetica di formula_6.
Formalmente lo scarto quadratico medio di una variabile può essere calcolata a partire dalla funzione generatrice dei momenti, in particolare è la radice quadrata della differenza tra il momento secondo ed il momento primo elevato al quadrato.
A partire dallo scarto quadratico medio si definisce anche il coefficiente di variazione o la "deviazione standard relativa" come il rapporto tra lo scarto tipo formula_7 e il valore assoluto della media aritmetica della variabile in esame:
Questo indice relativo (che viene spesso espresso in termini percentuali) consente di effettuare confronti tra dispersioni di dati di tipo diverso, indipendentemente dalle loro quantità assolute.
Nell'ambito della statistica inferenziale (dove è noto solo un campione della popolazione), soprattutto nell'ambito della teoria della stima, a volte si rimpiazza il denominatore formula_3 con formula_10 ottenendo:
Sostanzialmente, poiché non è nota la media dell'intera popolazione, ma solo una sua stima (la media del campione), bisogna utilizzare formula_10 per ottenere uno stimatore corretto formula_13 della varianza incognita formula_7 di formula_6 sull'intera popolazione a partire dai dati del campione. La sua radice quadrata diviene lo scarto quadratico medio "corretto".
Questa correzione al denominatore fa sì che la nuova definizione sia un po' più grande della precedente, correggendo così la tendenza della precedente a sottostimare le incertezze soprattutto nel caso in cui si lavori con pochi dati (formula_3 piccolo).
Osserviamo il caso limite di formula_17, cioè quando si ha un campione di un solo elemento: la prima definizione dà il risultato formula_18, che ovviamente non è molto ragionevole nell'ambito della statistica inferenziale, mentre quella "corretta" dà un risultato non definito del tipo formula_19, rispecchiando così la totale ignoranza inerente all'incertezza su una singola misura. In questo senso, si dice che la statistica non dice nulla sul singolo caso.
Osserviamo che la differenza tra le due definizioni per campioni molto estesi è spesso numericamente insignificante.
Il calcolo può essere semplificato come segue:
cioè, applicando il tutto alla formula originale:
Sia formula_6 una variabile aleatoria, lo scarto quadratico medio è definito come la radice quadrata della varianza di formula_6
Formalmente lo scarto quadratico medio di una variabile aleatoria può essere calcolato a partire dalla funzione generatrice dei momenti, in particolare è la radice quadrata della differenza tra il momento secondo ed il momento primo elevato al quadrato, cioè
dove formula_26 è il valore atteso di formula_6.
In ambito finanziario, lo scarto quadratico medio viene usato per indicare la variabilità di un'attività finanziaria e dei suoi payoff (rendimenti). Esso fornisce quindi, implicitamente, una misura della volatilità dell'attività, quindi del suo rischio.
In fisica, è un ottimo indice dell'errore casuale della misurazione di una grandezza fisica.
In ambito sportivo è utilizzato per valutare la prestazione di un giocatore di bowling in riferimento ad un certo numero di partite. Il valore trovato non incide sul punteggio ma sintetizza le capacità e i miglioramenti del giocatore.
In ingegneria, è uno dei parametri da considerare per valutare la capacità di un processo produttivo.
Nelle applicazioni informatiche, è a volte conveniente utilizzare la formula
che consente, con sole tre variabili formula_29, di calcolare lo scarto quadratico medio, oltre che la media, di un flusso di numeri di lunghezza formula_3 senza dover ricorrere ad una memorizzazione degli stessi.
