
La regressione formalizza e risolve il problema di una relazione funzionale tra variabili misurate sulla base di dati campionari estratti da un'ipotetica popolazione infinita. Originariamente Galton utilizzava il termine come sinonimo di correlazione, tuttavia oggi in statistica l'analisi della regressione è associata alla risoluzione del modello lineare. Per la loro versatilità, le tecniche della regressione lineare trovano impiego nel campo delle scienze applicate: chimica, geologia, biologia, fisica, ingegneria, medicina, nonché nelle scienze sociali: economia, linguistica, psicologia e sociologia.
Più formalmente, in statistica la regressione lineare rappresenta un metodo di stima del valore atteso condizionato di una variabile "dipendente", o "endogena", formula_1, dati i valori di altre variabili "indipendenti", o "esogene", formula_2: formula_3. L'uso dei termini "endogeno"/"esogeno" è talvolta criticato, in quanto implicherebbe una nozione di causalità che l'esistenza di una regressione non prevede; in determinati contesti, provocherebbe inoltre confusione, essendo ad esempio il concetto di esogeneità in econometria formalmente definito tramite l'ipotesi di ortogonalità alla base delle proprietà statistiche della regressione lineare col metodo dei minimi quadrati.
La prima, e ancora popolare, forma di regressione lineare è quella basata sul metodo dei minimi quadrati (si veda oltre). La prima pubblicazione contenente un'applicazione del metodo nota è datata 1805, a nome di Adrien-Marie Legendre; Carl Friedrich Gauss elabora indipendentemente lo stesso metodo, pubblicando le sue ricerche nel 1809. Sebbene Gauss sostenne di avere sviluppato il metodo sin dal 1795, la paternità delle sue applicazioni in campo statistico è normalmente attribuita a Legendre; lo stesso termine "minimi quadrati" deriva dall'espressione francese, utilizzata da Legendre, "moindres carrés".
Sia Gauss che Legendre applicano il metodo al problema di determinare, sulla base di osservazioni astronomiche, le orbite di corpi celesti intorno al sole. Eulero aveva lavorato allo stesso problema, con scarso successo, nel 1748. Nel 1821 Gauss pubblica un ulteriore sviluppo del metodo dei minimi quadrati, proponendo una prima versione di quello che è oggi noto come teorema di Gauss-Markov.
L'origine del termine "regressione" è storicamente documentata. L'espressione "reversione" era usata nel XIX secolo per descrivere un fenomeno biologico, in base al quale la progenie di individui eccezionali tende in media a presentare caratteristiche meno notevoli di quelle dei genitori, e più simili a quelle degli antenati più remoti. Francis Galton studiò tale fenomeno, applicandovi il termine, forse improprio, di regressione verso la media (o la "mediocrità").
Per Galton l'espressione "regressione" ha solo tale significato, confinato all'ambito biologico. Il suo lavoro (1877, 1885) fu in seguito esteso da Karl Pearson e George Udny Yule a un contesto statistico più generale (1897, 1903); i lavori di Pearson e Yule ipotizzano che la distribuzione congiunta delle variabili dipendenti e indipendenti abbia natura gaussiana. Tale ipotesi è in seguito indebolita da Ronald Fisher, in lavori del 1922 e 1925. Fisher in particolare ipotizza che la distribuzione "condizionata" della variabile dipendente sia gaussiana, il che non implica necessariamente che così sia per quella congiunta di variabili dipendenti e indipendenti. Sotto tale profilo, la formulazione di Fisher è più vicina a quella di Gauss del 1821.
Il modello di regressione lineare è:
dove:
Possiede delle peculiari assunzioni OLS.
Per ogni osservazione campionaria
si dispone di una determinazione formula_1 e di formula_14 determinazioni non stocastiche formula_15. Si cerca quindi una relazione di tipo lineare tra la variabile formula_1 e le formula_14 variabili deterministiche. Una prima analisi può essere condotta considerando un modello semplice a due variabili (si suppone in pratica che formula_14 sia uguale a formula_19). Un tipico esempio è riscontrabile dall'esperienza economica considerando la relazione tra Consumi (formula_20) e Reddito (formula_1). Ricercando una relazione funzionale in cui i consumi siano "spiegati" dal reddito si può ricorrere alla relazione lineare:
dove formula_24 rappresenta l'intercetta e formula_25 la pendenza della retta interpolatrice.
Generalizzando il problema a due variabili formula_26 e formula_27, scriveremo:
formula_29 è una generica funzione di formula_26 e comunemente si assume formula_31. Ponendo, senza perdita di generalità, tale condizione la formula diviene:
Quindi la variabile dipendente formula_27 viene "spiegata" attraverso una relazione lineare della variabile indipendente formula_26 (cioè: formula_35) e da una quantità casuale formula_36.
Il problema della regressione si traduce nella determinazione di formula_24 e formula_25 in modo da esprimere al ‘meglio' la relazione funzionale tra formula_27 e formula_26.
Per avvalorare di un significato statistico la scelta dei coefficienti occorre realizzare alcune ipotesi sul modello lineare di regressione:
Date queste ipotesi si calcolano i coefficienti formula_46 e formula_47 secondo il metodo dei minimi quadrati (in inglese "Ordinary Least Squares", o OLS, da cui il riferimento agli stimatori di seguito ottenuti come agli "stimatori OLS") proposto da Gauss; detta:
le stime si ottengono risolvendo:
Le soluzioni si ricavano uguagliando a zero le derivate parziali di formula_50 rispetto ad formula_24 e formula_25:
Dove formula_55 denota il numero delle osservazioni; segue:
da cui si ricavano le soluzioni:
Essendo la varianza osservata data da:
e la covarianza osservata da:
dove formula_62 denotano le medie osservate, si possono scrivere i parametri nella forma:
Si consideri il seguente problema teorico: date due variabili casuali formula_65 e formula_1, quale è il "migliore" stimatore per il valore atteso di formula_1, ossia quale stimatore presenta lo scarto quadratico medio (o MSE, dall'inglese "Mean Squared Error") minimo?
Se si utilizza uno stimatore affine che sfrutta l'informazione relativa alla variabile casuale formula_68 allora formula_69, è possibile dimostrare che lo scarto quadratico medio formula_70 è minimizzato se:
Tale osservazione fornisce una giustificazione di tipo probabilistico alle espressioni proposte sopra; si veda oltre per un'analisi formale, nel caso multivariato.
Il metodo dei minimi quadrati è esaminato nel caso bivariato, deriva una retta che interpola uno scatter di punti minimizzando la somma dei quadrati delle distanze formula_72 dei punti stessi dalla retta; il grafico fornisce un'intuizione del procedimento.
La scelta di minimizzare i "quadrati" degli formula_72 non è, ovviamente, arbitraria. Facendo ad esempio riferimento alla semplice somma degli formula_72, distanze positive (verso l'alto) e negative (verso il basso) si compenserebbero, rendendo in generale peggiore la qualità dell'interpolazione; se per contro si adottasse una funzione criterio uguale alla somma dei valori assoluti degli formula_72, non essendo la funzione valore assoluto derivabile su tutto l'asse reale non si potrebbe ricorrere all'elegante metodo di minimizzazione sopra illustrato.
Si osservi inoltre che gli formula_72 rappresentano una distanza di un tipo alquanto particolare. In geometria la distanza di un punto da una retta è infatti data dalla lunghezza del segmento che unisce il punto alla retta, perpendicolare a quest'ultima; evidentemente non è questo il caso degli formula_72. La scelta operata trova giustificazione nelle proprietà statistiche delle stime, illustrate in seguito: la particolare forma degli stimatori dei minimi quadrati sopra ottenuti consente un più semplice trattamento delle loro proprietà statistiche.
Due parole infine sul significato di regressione "lineare". Il nome di questa tecnica statistica "non" significa che nella funzione stimata la variabile dipendente formula_78 è una funzione lineare della(e) variabile(i) esplicativa(e) formula_79, ma dei "parametri" oggetto di stima (formula_24 e formula_25 sopra). La stima di una funzione del tipo:
rientra nel raggio d'azione del modello lineare, dal momento che formula_78 è una funzione lineare dei parametri formula_84, formula_85, formula_86. Per ulteriori considerazioni al riguardo, si veda l'articolo Regressione nonlineare.
Il metodo sopra illustrato può essere esteso al caso in cui più variabili contribuiscono a spiegare la variabile dipendente formula_1:
dove:
Possiede delle peculiari assunzioni OLS.
Raggruppando le osservazioni delle variabili esplicative in una matrice formula_65 di dimensioni formula_107, che si ipotizza avere rango pieno e uguale a formula_108 (il termine costante, o intercetta, corrisponde ad avere una colonna di formula_19 nella formula_65), è possibile scrivere, in notazione matriciale:
Nella formulazione più elementare, si assume che formula_112, ossia: formula_113 formula_114 (omoschedasticità), formula_115 (assenza di correlazione nei disturbi). Si ipotizza inoltre che:
ossia che non vi sia correlazione tra i regressori e i disturbi casuali — quest'ipotesi riveste un'importanza cruciale, in quanto rende possibile considerare i regressori compresi nella matrice formula_65 come variabili "esogene" (da cui il nome con cui l'ipotesi è spesso indicata: ipotesi di "esogeneità"). Quest'ultima proprietà è tutt'altro che banale, in quanto soltanto laddove essa è valida è possibile garantire che il vettore di stime dei parametri del modello, formula_118, abbia per valore atteso il vero valore dei parametri formula_85 (godendo così della proprietà di correttezza; si veda oltre).
Sotto tali ipotesi, è possibile ottenere le stime del vettore di parametri formula_85 tramite il metodo dei minimi quadrati risolvendo il problema di minimo:
Le condizioni del primo ordine per un minimo definiscono il sistema (detto delle equazioni normali):
da cui:
Per le proprietà della forma quadratica minimizzanda, si è certi che la soluzione trovata corrisponde a un minimo, non solo locale ma globale.
Il vettore di stime OLS formula_124 consente di ottenere i valori previsti ("teorici") per la variabile dipendente:
Formalmente, l'espressione sopra corrisponde a una proiezione ortogonale del vettore delle osservazioni formula_27 sullo spazio generato dalle colonne della matrice formula_65; la figura a lato illustra questo risultato.
Per chiarire questo punto, sia formula_128 la proiezione di formula_27 sullo spazio generato dalle colonne matrice formula_65: 
Ciò significa che esisterà un vettore di pesi formula_86 tale per cui è possibile ottenere formula_128 come formula_134, ossia come combinazione lineare delle colonne di formula_65. A sua volta formula_27 sarà uguale a formula_128 più una componente formula_138 ortogonale allo spazio generato da formula_65:
Dunque formula_141; premoltiplicando per formula_142 si ha: formula_143; così che:
ossia l'espressione per il vettore di stime OLS formula_118 derivata in precedenza. Questa intuizione geometrica è formalizzata nel teorema di Frisch-Waugh-Lovell.
Gli stimatori formula_124 degli OLS godono di una serie di interessanti proprietà algebriche; tali proprietà dipendono dal metodo dei minimi quadrati adottato, e non dal particolare modello oggetto di stima.
Si osservi che le prime tre proprietà valgono solo se la matrice dei regressori include il termine costante, ossia se include un vettore di soli formula_19.
L'R², o coefficiente di determinazione, è una misura della bontà dell'adattamento (in inglese "fitting") della regressione lineare stimata ai dati osservati.
Al fine di definire l'R², sia formula_167; questa matrice trasforma i vettori in scarti dalla propria media, così che, ad esempio, formula_168. Si osservi che la matrice formula_169 è simmetrica (formula_170) e idempotente (formula_171). Dunque la somma degli scarti al quadrato delle formula_153 da formula_173 è semplicemente: formula_174.
L'R² è definito come:
Spesso le quantità al numeratore e al denominatore sono chiamate, rispettivamente, ESS (formula_176, dall'inglese "Explained Sum of Squares") e TSS (formula_174, dall'inglese "Total Sum of Squares"). Osservando che, per semplice sostituzione:
dove l'ultima uguaglianza segue dal fatto che la media dei residui è zero, si ha:
così che l'R² sarà un numero compreso tra formula_180 e formula_19 (alcuni pacchetti statistici trasformano tale numero in una percentuale); in analogia con quanto sopra, spesso la quantità formula_182 è indicata con la sigla RSS (dall'inglese "Residual Sum of Squares"), o SSR ("Sum of Squared Residuals", grammaticalmente più preciso, ma forse meno usato).
Euristicamente, l'R² misura la frazione della variabilità delle osservazioni formula_153 che siamo in grado di spiegare tramite il modello lineare. Due importanti "caveat" devono in ogni caso essere tenuti a mente:
È evidente che, al crescere del numero di regressori formula_14, formula_190 in generale decresce, correggendo l'artificiale incremento dell'R². Si può inoltre dimostrare che formula_190 aumenta, aggiungendo un regressore, soltanto se il valore della statistica formula_192 associata al coefficiente di tale regressore (si veda oltre) è maggiore di formula_19, così che il valore dell'R² corretto è legato alla significatività delle variabili aggiuntive.
È opportuno far emergere alcune credenze sbagliate riguardo l'R². Innanzitutto non può mai assumere valori negativi perché è il rapporto di due varianze; tuttavia i software statistici possono produrre un output di una regressione che presenta un R² negativo. Ciò è dovuto al fatto che in questi programmi l'R² si calcola come differenza tra varianza spiegata e quella dei residui. Tuttavia nel caso di mispecificazione del modello (si "dimenticano" variabili che il data generating process contiene, intercetta compresa), il valore atteso della stima dei residui è in genere diverso da zero, quindi la media dello stimatore di formula_1 è diverso dalla media di formula_1. Pertanto il calcolo del software risulta errato perché non tiene conto di ciò.
Sotto le ipotesi sopra formulate, il valore atteso dello stimatore formula_124 è uguale al vettore di parametri formula_85; tale proprietà è detta correttezza; al fine di verificare la correttezza di formula_124, è sufficiente osservare che:
La varianza (in effetti, matrice varianza-covarianza) di formula_200 si ottiene come:
Il teorema di Gauss-Markov stabilisce che tale varianza è minima tra quelle degli stimatori di formula_85 ottenibili come combinazione lineare delle osservazioni formula_27; in questo senso formula_124 è uno stimatore efficiente (in effetti si tratta di uno stimatore "BLUE", dall'inglese "Best Linear Unbiased Estimator", il migliore stimatore corretto lineare).
Poiché formula_205 e le combinazioni lineari di variabili casuali normali indipendenti sono ancora normali, se ne conclude che:
Volendo stimare il parametro formula_207, un naturale candidato sarebbe la varianza campionaria:
In effetti lo stimatore sopra sarebbe anche lo stimatore di massima verosimiglianza per formula_209. Semplici manipolazioni mostrano tuttavia che tale stimatore non gode della proprietà di correttezza; infatti:
dove formula_212. Il valore atteso dell'espressione sopra è:
dove formula_214 denota l'operatore traccia di una matrice. Lo stimatore corretto per il parametro formula_207 è dunque:
Infatti:
Si osservi inoltre che, poiché formula_112, formula_219 ha una distribuzione chi quadro con formula_220 gradi di libertà.
Le tecniche del modello lineare sopra esposte possono trovare diverse applicazioni; con una qualche semplificazione, due sono i principali usi della regressione lineare:
Confinando la nostra attenzione al secondo punto, nell'ambito della statistica classica (cioè non bayesiana) condurre un test statistico non può portare ad "accettare" un'ipotesi nulla, ma al più a "non rifiutarla", un po' come dire che lo statistico assolve per mancanza di prove.
Un primo ordine di test concerne i singoli coefficienti del modello; volere stabilire se la j-esima variabile delle formula_65 abbia o meno potere esplicativo nei confronti della formula_27 equivale a sottoporre a verifica l'ipotesi nulla che il corrispondente coefficiente formula_223 sia nullo. A tal fine si ricorre alla statistica test:
dove formula_225, che sotto l'ipotesi nulla formula_226 ha distribuzione t di Student.
Un caso più complesso, e di maggiore interesse, riguarda il test di un insieme di restrizioni lineari sui coefficienti del modello; si consideri al riguardo ad un'ipotesi nulla nella forma:
dove formula_228 è una matrice di rango formula_229. Ad esempio, volendo testare l'ipotesi che il primo e il terzo coefficiente siano uguali, sarà sufficiente ricorrere la matrice (in questo particolare caso, vettore) formula_230, con formula_231, così che l'ipotesi nulla risulti: formula_232.
Al fine di sottoporre a verifica ipotesi di questo tipo, è sufficiente considerare che, essendo la combinazione lineare di variabili casuali normali ancora normale:
sotto l'ipotesi nulla formula_227. Ne consegue che:
per la nota proprietà per cui la combinazione lineare dei quadrati variabili casuali normali standardizzate ha distribuzione chi quadro, con gradi di libertà pari al rango della matrice formula_236, formula_229 (si osservi che in generale formula_238, e che formula_229 sarà solitamente pari al numero di restrizioni imposte sui parametri del modello). Naturalmente in generale il parametro formula_207 è incognito, per cui l'espressione sopra non può essere usata direttamente per fare inferenza statistica. Si ricorda tuttavia che:
Essendo noto che il rapporto tra due variabili casuali aventi distribuzione chi quadro, divise per i rispettivi gradi di libertà, è distribuito come una F di Fisher, è possibile utilizzare la statistica test:
avente sotto l'ipotesi nulla distribuzione F di Fisher con formula_229 e formula_220 gradi di libertà.
Se due o più colonne della matrice dei regressori formula_65 sono linearmente dipendenti, non esiste l'inversa formula_246 per cui il vettore di stime OLS non può essere determinato. Se da un lato è assai improbabile che questa eventualità si verifichi nelle applicazioni pratiche, è comunque possibile che alcune colonne della matrice formula_68 siano prossime alla dipendenza lineare; in tal caso sarà ancora possibile ottenere un vettore di stime OLS, ma sorgerà il problema della multicollinearità.
Si parla di multicollinearità allorché una o più colonne della matrice dei regressori formula_65 sono prossime a essere linearmente dipendenti. L'effetto della multicollinearità è che la matrice formula_249 è prossima all'essere singolare. Questo ha due conseguenze di particolare rilievo nelle applicazioni:
Il primo punto implica che gli intervalli di confidenza per i valori dei coefficienti saranno relativamente ampi; se tali intervalli includono lo zero, non si può rifiutare l'ipotesi nulla che la variabile corrispondente non abbia alcun effetto sulla variabile dipendente.
Un indicatore di multicollinearità spesso utilizzato nella pratica è il "variance inflation factor" (fattore di inflazione della varianza), o VIF. Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all'espressione:
dove formula_251 è il coefficiente R² di una regressione della colonna formula_5-esima di formula_65 su tutti gli altri regressori (incluso il termine costante, se è presente). È possibile dimostrare che la varianza dell'elemento formula_5-esimo del vettore delle stime OLS formula_124 è proporzionale al VIF; dunque un VIF elevato comporterà una minore significatività del coefficiente formula_256, andando a ridurre il valore della statistica formula_192 di Student associata. Un formula_251 elevato è indice di dipendenza lineare tra la colonna formula_5-esima e le restanti colonne della matrice formula_65, ossia è un indice di multicollinearità. Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità; sta alla sensibilità del ricercatore valutare, con l'ausilio dell'indicazione del VIF, se sussista o meno multicollinearità, nel qual caso è opportuno rimuovere il regressore formula_5-esimo (colonna formula_5-esima della matrice formula_65 sulla quale si è riscontrata multicollinearità).
Le stime e le statistiche test presentate sopra costituiscono l'obiettivo del ricercatore che effettua un'analisi di regressione lineare. Sebbene le convenzioni nella presentazione dei risultati varino significativamente a seconda dell'ambito scientifico o del tipo di pubblicazione, alcuni standard sono in generale rispettati. I risultati della stima di un modello di regressione lineare potrebbero e dovrebbero riportare:
Particolare attenzione si deve porre nel ritenere che un modello: 
implichi che le variabili ricomprese nella matrice formula_65 "causino" la formula_27. È importante osservare che l'esistenza di regressione (formalmente definita nei paragrafi precedenti) "non implica altro che l'esistenza di un valore atteso condizionato":
In particolare, non si può in generale affermare che l'espressione sopra significhi che le variabili in formula_65 "causino" il comportamento della formula_27. Come espresso con efficacia da Cochrane (2003), "le regressioni non hanno cause al secondo membro e conseguenze al primo membro." Tuttavia resta vero che uno dei principali task dell'analisi di regressione verte proprio sulle indagini di tipo causale; peraltro in contesti sperimentali "controllati" questa possibilità è tipicamente accettata. Inoltre anche in contesti osservazionali l'interpretazione causale, anche se molto più delicata, non si esclude assolutamente, anzi in certi contesti resta il task più importante. Particolare rilievo in questo contesto è giocato dal problema delle "variabili omesse", se siamo portati a ritenere che tale problema non sia rilevante, allora l'interpretazione causale è lecita.
I concetti di validità esterna ed interna forniscono uno schema di riferimento per valutare se uno studio statistico o econometrico sia utile per rispondere ad una domanda specifica di interesse.
L'analisi è esternamente valida se le sue inferenze e conclusioni possono essere generalizzate dalla popolazione e dal contesto studiati ad altre popolazioni e contesti. Deve essere giudicata usando la conoscenza specifica della popolazione e del contesto usato e di quelli oggetto d'interesse.
Un'ipotesi cruciale del modello classico di regressione lineare è che i regressori siano ortogonali al disturbo stocastico, ossia, formalmente:
Il motivo per cui tale ipotesi — anche nota come "ipotesi di esogeneità" — è fondamentale è presto illustrato; basta osservare che:
così che:
In altri termini: l'ipotesi di esogeneità dei regressori è condizione necessaria per la correttezza dello stimatore formula_118 del metodo dei minimi quadrati (un'analoga argomentazione può essere data in termini asintotici, passando dalla correttezza alla consistenza dello stimatore).
In tutti i casi in cui si ha motivo di credere che l'ipotesi di esogeneità sia violata — tutti i casi in cui si sospetta "endogeneità" dei regressori — non si può fare affidamento sui risultati di una regressione condotta col metodo dei minimi quadrati ordinari (la soluzione è di ricorrere a una regressione con variabili strumentali).
È la differenza tra la popolazione studiata e la popolazione d'interesse. Un esempio è quello di effettuare lo stesso test sui topi e sugli uomini senza chiedersi se vi siano delle differenze che inficino l'analisi.
Anche se la popolazione studiata e quella d'interesse fossero uguali, sarebbe opportuno valutarne il contesto. Un esempio è uno studio su una campagna di alcolici su degli studenti universitari e su degli studenti delle classi primarie.
Un'analisi statistica è internamente valida se le inferenze statistiche sugli effetti causali sono validi per la popolazione oggetto di studio.
La distorsione da variabile omessa nasce quando viene omessa una variabile dalla regressione, che è una determinante di formula_1 ed è correlata con uno o più dei regressori.
L'omissione di variabili rilevanti (nel senso precisato in quanto segue) può rendere le stime OLS inconsistenti. Si supponga che il modello "vero" sia:
ma si stimi un modello:
che omette la variabile "rilevante" formula_282 che contribuisce a spiegare la variabile dipendente formula_27. Si ha allora:
Poiché formula_285, nel secondo modello il regressore formula_286 è correlato col disturbo formula_287. Per la precisione: 
Risulta così violata una delle ipotesi del modello classico di regressione lineare, e le stime del parametro formula_289 col metodo dei minimi quadrati ordinari sono inconsistenti.
Si osservi che, qualora la variabile rilevante formula_282 sia ortogonale a formula_286 (e, di conseguenza, formula_292), il problema scompare (il teorema di Frisch-Waugh-Lovell precisa ed estende quest'ultima considerazione).
Questo errore sorge quando la funzione di regressione che descrive i dati non è corretta. Ad esempio una funzione di regressione di una popolazione non lineare è descritta come lineare.
Tipicamente è un errore di misura o confusione, che va a distorcere l'intero data set.
La distorsione di causalità simultanea si verifica in una regressione di Y su X quando, in aggiunta al legame causale d'interesse da formula_65 a formula_1, c'è un legame causale da formula_1 a formula_65. Questa causalità inversa rende formula_65 correlato con l'errore statistico nella regressione d'interesse.
Si verifica quando il processo di selezione è legato al valore della variabile dipendente; ciò può introdurre la correlazione tra l'errore statistico ed il regressore, portando così ad una distorsione dello stimatore OLS.
Si supponga di non poter osservare direttamente un regressore, che deve essere stimato (o "generato", secondo una diversa terminologia); per concretezza, si consideri un "vero" modello:
e si ipotizzi di disporre soltanto di una stima di formula_300:
Se si procede nella stima di:
Si ottiene:
con:
Supponendo che formula_307, la stima del parametro formula_85 risulta più vicina a zero di quanto non sia il "vero" valore del parametro (questo effetto è noto con termine inglese come "attenuation bias"). È immediato osservare che il problema è meno pronunciato laddove la varianza dell'errore nell'osservazione di formula_300, formula_310 risulta minore della varianza di formula_300 stesso — ossia, non sorprendentemente, quando formula_300 può essere stimato con relativa precisione.
Si osservi infine che nessun problema si pone nel caso in cui la variabile dipendente — formula_27 — sia stimata o generata. In tal caso, il termine di errore in essa contenuto sarà semplicemente incorporato nel disturbo della regressione — formula_314, senza ledere la consistenza delle stime OLS.
Le proprietà sopra esposte possono essere generalizzate al caso in cui le ipotesi sulla distribuzione dei termini di errore non siano necessariamente valide per campioni di dimensione finita. In questo caso, si ricorre alle proprietà "asintotiche" delle stime, supponendo implicitamente che, per campioni di dimensione sufficientemente grande, la distribuzione asintotica delle stime coincida, o approssimi ragionevolmente, quella effettiva. I risultati si fondano sul teorema del limite centrale, o su sue generalizzazioni.
Al fine di illustrare le proprietà asintotiche degli stimatori dei minimi quadrati ordinari, si ipotizzi:
dove formula_318 denota la convergenza in probabilità e formula_319 la matrice identità.
L'espressione per lo stimatore dei minimi quadrati ordinari può essere riscritta come:
Passando al limite per formula_321, si ha allora:
(si osservi che il limite in probabilità dell'inversa di formula_323 è l'inversa di formula_324). Dunque, lo stimatore formula_118 converge in probabilità al vero valore del vettore di parametri formula_85 – si dice dunque che formula_118 gode della proprietà di consistenza.
Applicando una banale estensione del teorema del limite centrale al caso multivariato, si ha inoltre:
dove formula_329 denota la convergenza in distribuzione. Da quest'ultimo risultato discende allora che:
In altre parole, lo stimatore dei minimi quadrati ordinari è non solo consistente, ma anche asintoticamente normalmente distribuito; l'insieme di queste proprietà si indica con la sigla inglese CAN ("Consistent and Asymptotically Normal").
I metodi sopra esposti costituiscono il nucleo del modello classico di regressione lineare; quantunque validi strumenti di analisi per un ampio spettro di discipline e casi di studio, essi prestano il fianco a una serie di critiche, incentrate sulla semplicità delle ipotesi alla base del modello.
Tali critiche hanno portato alla formulazione di modelli più generali, caratterizzati da ipotesi meno restrittive rispetto a quelle poste sopra. L'analisi ha battuto alcune vie principali:
Ciò ha consentito lo sviluppo di modelli alternativi, o quantomeno complementari, al modello classico; tra i più noti, il metodo dei minimi quadrati generalizzati, metodi di stima tramite variabili strumentali, i vari modelli di regressione robusta, nonché numerosi modelli sviluppati nell'ambito dell'analisi delle serie storiche e dei dati panel.
Nell'ambito dell'econometria (manuali, si veda anche l'articolo econometria):
Nell'ambito della finanza:
Nell'ambito della fisica:
Nell'ambito della Ricerca sociale:
Nell'ambito della linguistica, in particolare della psicolinguistica:


In statistica, la regressione di Poisson è una forma di modello lineare generalizzato di analisi di regressione usato per modellare il conteggio dei dati in tabelle contingenti.
La regressione di Poisson assume che la variabile di risposta Y ha una distribuzione di Poisson, e assume che il logaritmo del suo valore aspettato possa essere modellato da una combinazione lineare di parametri sconosciuti. La regressione di Poisson è talvolta conosciuta anche come modello log-lineare, specialmente quando viene usato per modellare tabelle contingenti.
La regressione binomiale negativa (NB2) è una famosa generalizzazione della regressione di Poisson perché allenta il presupposto altamente restrittivo che la varianza è uguale alla media come nel modello di Poisson
La NB2 si basa sulla distribuzione mista Poisson-Gamma. Questo modello è molto usato perché modella l'eterogeneità della Poisson con la distribuzione Gamma.
