
L'analisi della regressione è una tecnica usata per analizzare una serie di dati che consistono in una variabile dipendente e una o più variabili indipendenti. Lo scopo è stimare un'eventuale relazione funzionale esistente tra la variabile dipendente e le variabili indipendenti. La variabile dipendente nell'"equazione di regressione" è una funzione delle variabili indipendenti più un "termine d'errore". Quest'ultimo è una variabile casuale e rappresenta una variazione non controllabile e imprevedibile nella variabile dipendente. I parametri sono stimati in modo da descrivere al meglio i dati. Il metodo più comunemente utilizzato per ottenere le migliori stime è il metodo dei "minimi quadrati" (OLS), ma sono utilizzati anche altri metodi.
Il "data modeling" può essere usato senza alcuna conoscenza dei processi sottostanti che hanno generato i dati; in questo caso il modello è un modello empirico. Inoltre, nella modellizzazione, non è richiesta la conoscenza della distribuzione di probabilità degli errori. L'analisi della regressione richiede ipotesi riguardanti la distribuzione di probabilità degli errori. Test statistici vengono effettuati sulla base di tali ipotesi. Nell'analisi della regressione il termine "modello" comprende sia la funzione usata per modellare i dati che le assunzioni concernenti la distribuzione di probabilità.
L'analisi della regressione può essere usata per effettuare previsioni (ad esempio per prevedere dati futuri di una serie temporale), inferenza statistica, per testare ipotesi o per modellare delle relazioni di dipendenza. Questi usi della regressione dipendono fortemente dal fatto che le assunzioni di partenza siano verificate. L'uso dell'analisi della regressione è stato criticato in diversi casi in cui le ipotesi di partenza non possono essere verificate. Un fattore che contribuisce all'uso improprio della regressione è che richiede più competenze per criticare un modello che per adattarlo.
La prima forma di regressione fu il metodo dei minimi quadrati, pubblicato da Legendre nel 1805, e da Gauss nel 1809. Il termine “minimi quadrati” deriva da quello usato da Legendre: "moindres carrés". Tuttavia, Gauss affermò di essere a conoscenza di questo metodo fin dal 1795.
Legendre e Gauss applicarono entrambi il metodo al problema di determinare, a partire da osservazioni astronomiche, l'orbita dei pianeti attorno al Sole. Eulero aveva lavorato sullo stesso problema intorno al 1748, ma senza successo. Gauss pubblicò un ulteriore sviluppo della teoria dei minimi quadrati nel 1821, includendo una versione del teorema di Gauss-Markov.
Il termine "regressione" venne coniato nel diciannovesimo secolo per descrivere un fenomeno biologico, ovvero che la progenie di individui eccezionali tende in genere ad essere meno eccezionale dei propri genitori e più simile ai loro avi più distanti. Francis Galton, un cugino di Charles Darwin, studiò questo fenomeno e applicò il termine vagamente fuorviante di "regressione verso il centro/regressione verso la media". Per Galton, la regressione aveva solo questo significato biologico, ma il suo lavoro venne in seguito esteso da Udny Yule e Karl Pearson in un contesto statistico più generale. Oggi il termine "regressione" è spesso sinonimo di "curva intercetta dei minimi quadrati".
Queste condizioni sono sufficienti (ma non tutte necessarie) perché lo stimatore dei minimi quadrati goda di buone proprietà. In particolare queste assunzioni implicano che lo stimatore sia non distorto, consistente ed efficiente nella classe degli stimatori lineari non distorti. Molte di queste assunzioni possono essere rilassate in analisi più avanzate.
Nella regressione lineare, il modello assume che la variabile dipendente, formula_1 sia una combinazione lineare dei "parametri" (ma non è necessario che sia lineare nella "variabile indipendente"). Ad esempio, nella regressione lineare semplice con formula_2 osservazioni ci sono una variabile indipendente: formula_3, e due parametri, formula_4 e formula_5:
Nella regressione lineare multipla, ci sono più variabili indipendenti o funzioni di variabili indipendenti. Ad esempio, aggiungendo un termine in formula_7 alla regressione precedente si ottiene:
Si tratta ancora di una regressione lineare: sebbene l'espressione sulla destra sia quadratica nella variabile indipendente formula_3, è comunque lineare nei parametri formula_4, formula_5 e formula_12
In entrambi i casi, formula_13 è un termine di errore e l'indice formula_14 identifica una particolare osservazione. Dato un campione casuale della popolazione, stimiamo i parametri della popolazione e otteniamo il modello di regressione lineare semplice:
Il termine formula_16 è il residuo, formula_17. Un metodo di stima è quello dei minimi quadrati ordinari. Questo metodo ottiene le stime dei parametri che minimizzano la somma dei quadrati dei residui, SSE:
La minimizzazione di questa funzione risulta essere un sistema di equazioni normali, un insieme di equazioni lineari simultanee nei parametri, che vengono risolte per trovare le stime dei parametri, formula_19. Vedi coefficienti di regressione per informazioni sulle proprietà statistiche di tali stimatori.
Nel caso della regressione semplice, le formule per le stime dei minimi quadrati sono 
dove formula_22 è la media (media) dei valori formula_23 e formula_24 è la media dei valori formula_25.
Sotto l'ipotesi che il termine di errore della popolazione abbia una varianza costante, la stima di quella varianza è data da:
formula_26
Questo è la radice dell'errore quadratico medio (RMSE) della regressione. 
Gli errori standard delle stime dei parametri sono dati da
Sotto l'ulteriore ipotesi che il termine di errore della popolazione abbia distribuzione normale, il ricercatore può usare questi errori standard stimati per creare intervalli di confidenza e condurre test d'ipotesi sui parametri della popolazione.
Nel più generale modello di regressione multipla, ci sono formula_29 variabili indipendenti:
Le stime dei parametri dei minimi quadrati sono ottenute da formula_29 equazioni normali. Il residuo può essere scritto come
Le equazioni normali sono
In notazione matriciale, le equazioni normali sono scritte come
Una volta costruito un modello di regressione, è importante confermare la bontà di adattamento del modello e la significatività statistica dei parametri stimati. I controlli della bontà di adattamento comunemente usati includono l'indice R-quadro, analisi dei residui e test di ipotesi. La significatività statistica è verificata con un test F dell'adattamento globale, seguito da t-test per ogni singolo parametro.
L'interpretazione di questi test dipende fortemente dalle assunzioni sul modello. Nonostante l'analisi dei residui sia usata per determinare la bontà di un modello, i risultati dei test-T e dei test-F sono difficili da interpretare nel caso in cui le assunzioni di partenza non siano soddisfatte. Ad esempio, se la distribuzione degli errori non è normale, può accadere che in campioni di numerosità ridotta le stime dei parametri non seguano una distribuzione normale, cosa che complica l'inferenza. Per grandi campioni, il teorema del limite centrale permette di effettuare i test usando un'approssimazione asintotica delle distribuzioni.
La variabile risposta può essere non continua. Per le variabili binarie (zero/uno), si può procedere con un particolare tipo di modello lineare linear probability model. Se si usa un modello non-lineare i modelli più utilizzati sono il probit e il modello logit. Il modello probit multivariato rende possibile stimare congiuntamente la relazione tra più variabili binarie dipendenti e alcune variabili indipendenti. Per variabili categoriche con più di due valori si utilizza il modello logit multinomiale. Per variabili ordinali con più di due valori, si utilizzano i modelli logit cumulativo e probit cumulativo. Un'alternativa a tali procedure è la regressione lineare basata su polychoric o polyserial correlazioni tra le variabili categoriche. Tali procedure differiscono nelle ipotesi fatte sulla distribuzione delle variabili nella popolazione. Se la variabile rappresenta una ripetizione di un evento nel tempo, è positiva e con poche realizzazioni ("eventi rari"), si possono utilizzare modelli di Poisson o binomiale negativa.
I modelli di regressione predicono una variabile formula_25 partendo dai valori di altre variabili formula_23. Se i valori della previsione sono compresi nell'intervallo dei valori delle variabili formula_23 utilizzate per la costruzione del modello si parla di interpolazione. Se i valori escono dal range delle variabili esplicative si parla di estrapolazione. In questo caso la previsione diventa più rischiosa.
Quando la funzione del modello non è lineare nei parametri la somma dei quadrati deve essere minimizzata da una procedura iterativa.
Sebbene i parametri di un modello di regressione siano di solito stimati usando il metodo dei minimi quadrati, altri metodi includono:
Tutti i principali pacchetti statistici eseguono i tipi comuni di analisi di regressione correttamente e in modo semplice. La regressione lineare semplice può essere fatta in alcuni fogli elettronici. C'è una quantità di programmi che esegue forme specializzate di regressione, e gli esperti possono scegliere di scrivere il loro proprio codice per usare o software per analisi numerica.


In statistica la significatività è la possibilità rilevante che compaia un determinato valore. Ci si riferisce anche come "statisticamente differente da zero"; ciò non significa che la "significatività" sia rilevante, o vasta, come indurrebbe a pensare la parola. Ma solo che è diversa dal numero limite.
Il livello di significatività di un test è dato solitamente da una verifica del test d'ipotesi. Nel caso più semplice è definita come la probabilità di accettare o rigettare l'ipotesi nulla.
I livelli di significatività sono solitamente rappresentati con la lettera greca α (alfa). I livelli più usati sono 5% (α=0,05) e 1% (α=0,01); nel caso di ipotesi a carattere prevalentemente esplorativo è consuetudine adoperare un livello di significatività al 10% (α=0,1). Se il test di verifica d'ipotesi dà un valore p minore del livello α, l'ipotesi nulla è rifiutata.
Tali risultati sono informalmente riportati come 'statisticamente significativi'. Per esempio se si sostiene che "c'è solo una possibilità su mille che ciò possa accadere per coincidenza," viene usato un livello di significatività dello 0,1%. Più basso è il livello di significatività, maggiore è l'evidenza. In alcune situazioni conviene esprimere la significatività statistica con 1 − α. In generale, quando si interpreta una significatività stabilita, bisogna stare attenti nell'indicare che cosa, precisamente è stato testato statisticamente.
Differenti livelli di α hanno differenti vantaggi e svantaggi. α-livelli più bassi danno maggiore confidenza nella determinazione della significatività, ma corrono maggiori rischi di errore nel respingere una falsa ipotesi nulla (un errore di tipo II, o "falsa determinazione negativa"), e così hanno maggiore potenza statistica. La selezione di un α-livello inevitabilmente implica un compromesso fra significatività e potenza, e di conseguenza, fra errore tipo I ed errore tipo II.
In alcuni campi, per esempio nella fisica nucleare ed in quella delle particelle, si usa esprimere la significatività statistica in unità di "σ" (sigma), la deviazione standard di una distribuzione gaussiana. Una significatività statistica di "formula_1" può essere convertita in un valore di α usando la funzione errore:
L'uso di σ è motivato dalla onnipresenza della distribuzione gaussiana nella 
misura delle incertezze. Per esempio se una teoria prevede che un parametro abbia un valore, ad esempio 100, e ad una misurazione indica che il parametro è 100 ± 3, allora bisogna riportare la misura come una "deviazione 3σ" dalla previsione teorica. in termini di α, questa situazione è equivalente al dire che "supponendo vera la teoria, la possibilità di ottenere che il risultato sperimentale coincida è dello 0,27%" (poiché 1  − erf(3/√2) = 0.0027).
Fissati i livelli di significatività come quelli menzionati in seguito possono essere considerati come utili nelle analisi di dati esploratorie. Comunque, la moderna statistica è dell'avviso che, dove il risultato di un test è essenzialmente il risultato finale di un esperimento o di altro studio, il p-valore deve essere considerato esplicitamente. Inoltre, ed è importante, bisogna considerare se e come il p-valore è significativo o meno. Questo consente di accedere al massimo delle informazioni che devono essere trasferiti da un riassunto degli studi nelle meta-analisi.
Un errore comune è ritenere che un risultato statisticamente significativo sia sempre di significatività pratica, o dimostri un largo effetto nella popolazione. Sfortunatamente, questo problema si incontra diffusamente negli scritti scientifici. Dato un campione sufficientemente grande, per esempio, si può scoprire che differenze estremamente piccole e non visibili sono statisticamente significative, ma la significatività statistica non dice niente di una significatività pratica di una differenza.
Uno dei problemi più comuni nel testare la significatività è la tendenza delle comparazioni multiple a tendere a significative differenze spurie anche dove l'ipotesi nulla è vera. Per esempio, in uno studio di venti comparazioni, usando un 
α-livello del 5%, una comparazione può effettivamente riportare un risultato significativo nonostante sia vera l'ipotesi di nullità. in questi casi i p-valori sono corretti al fine di controllare o il valore falso o l'errore familiare.
Un problema addizionale è che si ritiene che le analisi frequentiste dei p-valori esagerino la ""significatività statistica"". Si veda il fattore di Bayes per i dettagli.
J. Scott Armstrong, negli articoli "Significance Tests Harm Progress in Forecasting," e "Statistical Significance Tests are Unnecessary Even When Properly Done," espone la sua posizione secondo cui in alcuni casi, seppure eseguiti correttamente, i test di significatività statistica non sarebbero utili. A suo parere, un certo numero di tentativi ha fallito nel trovare prove empiriche che sostenessero l'uso di test di significatività, ed i test di significatività statistica usati da soli potrebbero essere nocivi allo sviluppo della conoscenza scientifica perché distrarrebbero i ricercatori dall'uso di metodi statistici in alcuni casi più adatti. 
Armstrong suggerisce quindi che secondo lui i ricercatori dovrebbero evitare i test di significatività statistica, e dovrebbero piuttosto fare uso di strumenti di area di effetto, intervalli di fiducia, ripetizioni/estensioni, e meta-analisi.
La significatività statistica può essere considerata come la fiducia che si ha in un dato risultato. In uno studio di comparazione, essa dipende dalla differenza relativa tra i gruppi confrontati, la quantità delle misurazioni e il rumore associato alle misurazioni. In altre parole, la fiducia che si ha che un dato risultato sia non casuale (cioè non una conseguenza di un caso) dipende dal rapporto segnale-rumore (SNR) e misura campione. Esprimendosi matematicamente, la fiducia che un risultato non sia casuale è dato dalla seguente formula di Sackett:
Per chiarezza, la succitata formula è rappresentata tabularmente qui di seguito.
Dipendenza della fiducia con rumore, segnale e misura campione (forma tabulare)
In parole la dipendenza di una fiducia è maggiore se il rumore è basso o la misura campione è estesa o l'ampiezza effettiva (del segnale) è larga. La fiducia di un risultato (e l'associato intervallo di fiducia) "non" dipende dagli effetti della sola ampiezza effettiva del segnale. Se la misura campione è grande e il rumore e piccolo un'ampiezza effettiva di segnale può essere misurata con grande fiducia. Sebbene un'ampiezza effettiva viene considerata importante essa dipende nel contesto degli eventi comparati.
In medicina, piccole ampiezze effettive (riflesse da piccoli aumenti di rischio) sono spesso considerate clinicamente rilevanti e sono frequentemente usati per guidare decisioni di trattamento (se c'è una grande fiducia in essi). Sebbene un dato trattamento è considerato un giusto tentativo esso dipende dai rischi, dai benefici e dai costi.
