Home

Federica EU

1/40

Roberta Siciliano » 4.I test diagnostici sulla regressione lineare multipla

Obiettivi e contenuti

Obiettivi

Verificare la plausibilità delle ipotesi classiche alla base del modello di regressione lineare, attraverso i test diagnostici, o test di errata specificazione, che hanno il fine di controllare l’efficienza e la correttezza della stima OLS dei parametri del modello.

Comprendere il significato e l’utilizzo dei test diagnostici nell’ambito del modello di regressione lineare per validare la plausibilità delle ipotesi classiche del modello.

L’eventuale rifiuto dell’ipotesi nulla di un test diagnostico non ha come conseguenza il ritenere valida l’ipotesi alternativa, ma conduce solo ad un campanello d’allarme di non coerenza tra quanto ipotizzato e le osservazioni disponibili.

Contenuti

La logica dei test diagnostici
Test di Ramsey – RESET
Test di Durbin-Watson
Chow Test
Test di White
Test di Jarque e Bera

La logica dei test diagnostici

Si basano sull’analisi dei residui dei MQO e spesso si calcolano come statistiche F (confronto tra SQRv [Somma dei quadrati dei residui del modello vincolato] e SQR_nv [Somma dei quadrati dei residui del modello non vincolato]).

In tali contesti il modello non vincolato prende il nome di equazione (o modello) ausiliaria.
↓↓

I test diagnostici si interpretano come problemi di variabili omesse, ovvero non corretta specificazione del modello.

Specificazione dei test diagnostici

y = Xβ + ε → Modello stimato (potenzialmente scorretto)

y = Xβ + Wγ + η → Modello generale (ausiliario)

dove W sono i Regressori Omessi e γ sono i Coefficienti associati ai Regressori Omessi.

Se il modello ausiliario è quello giusto (cioè se γ≠ 0), allora lo stimatore dei MQO del modello stimato è distorto.

$E(\hat \beta |X,W)=E[(X'X)^{-1}X'(X\beta^*W\gamma+\eta)|X,W]=$

$=\beta^*+(X'X)^{-1}+X'W\gamma+X'E(\eta|X,W)=\beta^*+(X'X)^{-1}+X'W\gamma\ne\hat\beta$

La statistica test

Per verificare la significatività dei regressori W si applica un test di significatività congiunta di tutti i parametri.

$\hat\varepsilon=y-X\hat\beta^*+W\gamma+\eta-X\hat\beta=X(\beta^*-\hat\beta)+W\gamma+\eta=Xb+W\gamma+\eta$

$\text{con } b=\beta^*-\hat\beta$

Ricordiamo:

y = Xβ + ε → Modello stimato (potenzialmente scorretto) (Vincolato)

y = Xβ + Wγ + η → Modello generale (ausiliario) (Non Vincolato)

I residui del modello non vincolato sono dati dall’equazione ausiliaria

$F=\frac{(SQR_v-SQR_{nv})/h}{SQR_{nv}/(n-k-h)}$

In pratica si sottopone a verifica l’ipotesi nulla: H₀ : γ = 0

Applicabilità dei test diagnostici

Problemi:

Se h > (n – k) il test non è calcolabile
Le variabili W spesso (e in pratica) non sono note a priori
Le variabili W sono considerate delle proxy, cioè variabili pensate solo allo scopo di cogliere possibili errori di specificazione

Esempio 1: il valore delle case a Boston

Esempio: modello vincolato

Esempio: modello non vincolato

Esempio 1: output del test in Gretl

La diagnostica del modello è la seguente:

$F=\frac{(SQR_v-SQR_{nv})/h}{SQR_{nv}/(n-k-h)}=\frac{(11081,4-11078,8)/2}{11078,8/(506-12-2)}\frac{1,3}{22,5179}=0,0577$

$P-value[F_{(0,0577;2,492)}]=0,9439$

Si accetta l’ipotesi nulla in quanto il valore di probabilità è altissimo e pertanto il modello è correttamente specificato.

Test RESET: test di Ramsey

Il test RESET (REgression Specification Error Test) tende a verificare:

la non appropriata scelta della forma funzionale
la possibile omissione di variabili nel modello

Si stima il modello con i k regressori attraverso i MQO e si aggiungono le potenze degli stessi valori stimati fino ad un generico grado p

γ = β₀+ β₁x₁ +β₂x₂ +….+βkxk + γ1

Questo modello (non vincolato) rappresenta l’equazione ausiliaria.

Bisogna, pertanto, sottoporre a verifica l’ipotesi nulla:

H₀ : γ_h = 0 per h = 1,…,(p – 1)

Esempio 2: test di Ramsey sul valore delle case a Boston

Test RESET: interpretazione dei risultati

Il test RESET è utile perché segnala qualcosa di errato nella specificazione
Il test RESET non indica alternative specifiche al modello dato
Si dice che sia un “test non costruttivo”
Non fornisce indicazioni su come agire per superare il problema.

Il test di Durbin Watson

E’ il test più usato per verificare la presenza di autocorrelazione degli errori.
Una delle ipotesi classiche afferma che E (ε_iε_j / X)= 0 per i≠ j

Il test DW verifica la presenza di correlazione nel termine di errore. Il caso più frequente è quello delle serie storiche, nella quale ogni unità statistica è osservata ripetutamente nel tempo e viene utilizzata la t come indice delle osservazioni. In questo caso, quando vi è una possibile correlazione tra ε_t e ε _t-1 , si parla di autocorrelazione o di correlazione seriale.
Ma anche in dati di tipo cross-section vi può essere correlazione tra gli errori di unità contigue. Si parla, allora, di correlazione spaziale.

Esso viene applicato solo quando il modello di regressione presenta intercetta; la correlazione seriale è del primo ordine; tra i regressori non vi è la variabile risposta ritardata.

La statistica test di Durbin- Watson

La statistica DW è la seguente:

La sommatoria al numeratore parte da 2 perché, altrimenti, non si potrebbe calcolare il residuo al tempo t-1.

Autocorrelazione positiva

Autocorrelazione negativa

Approssimazione della statistica test DW

Considerando che

$E[(\varepsilon_t\varepsilon_{t-1})^2]=E(\varepsilon_t^2)+E(\varepsilon^2_{t-1})-2E(\varepsilon_t\varepsilon_{t-1})$

E ricordiamo che l’omoschedasticità degli errori, da cui $E(\varepsilon_t^2)=E(\varepsilon^2_{t-1})$

Si ha

$E[(\varepsilon_t\varepsilon_{t-1})^2]=E(\varepsilon_t^2)+E(\varepsilon^2_{t})-2E(\varepsilon_t\varepsilon_{t-1})$

Dividendo ambo i membri per $E(\varepsilon^2_t)$

$\frac{E[(\varepsilon_t\varepsilon_{t-1})^2]}{E(\varepsilon_t^2)}=\frac{2E(\varepsilon_t^2)-2E(\varepsilon_t\varepsilon_{t-1})}{E(\varepsilon_t^2)}=2-2\frac{E(\varepsilon_t\varepsilon_{t-1})}{E(\varepsilon_t^2)}=2(1-\rho)$

Ipotesi del test DW

Ricordando la statistica $DW=\frac{\sum_{t=2}^T(\hat\varepsilon_t-\hat\varepsilon_{t-1})^2}{\sum_{t=1}^T\hat\varepsilon_t^2}$

Per una numerosità campionaria sufficientemente grande. le grandezza al numeratore si eguagliano, pertanto

$DW\approx 2(1-\hat \rho)$

Il test DW sottopone a verifica l’ipotesi nulla $H_0:\rho=0$

Se ci fosse perfetta correlazione positiva, DW sarebbe pari a 0.

Se ci fosse perfetta correlazione negativa, DW sarebbe apria 4.

Se non ci fosse correlazione, DW sarebbe pari a 2.

Pertanto la distribuzione campionaria di DW tende a 2 in assenza di correlazione, mentre tende a 4 per correlazioni negative e a 0 per correlazioni positive.

Le tavole per la statistica campionaria DW

L’interpretazione grafica della statistica DW

Esempio 3: autocorrelazione nel set di dati proveniente dalla “Penn World” (disponibile sul server on-line di Gretl)

Dalla finestra principale di Gretl cliccare su File, poi su Apri dati, selezionare importa, ed infine cliccare su excel. A questo punto selezionare il file da importare scegliendo l'opportuna destinazione dello stesso.

Esempio 3: valori critici della statistica DW

Esempio 3: regole di decisione

Chow Test

Chow test sulla stabilità dei parametri (break strutturale)

Si divide il campione in due sottocampioni, di numerosità rispettivamente n1 e n2 in modo che in entrambi possano essere applicati i MQO (i due sottocampioni devono essere in grado di essere stimati entrambi).

Si ha:

y₂ = X₂+ β₂ + ε₂

y₁ = X₁+ β₁ + ε₁

con ipotesi H₀: β₁ =β₂

Specificazione del Chow Test

Ponendo $\beta_2=\beta_1+\delta$

Le equazioni precedenti possono essere scritte come

$y_2=X_2\beta_1+X_2\delta+\varepsilon_2$

Oppure equivalentemente

$\left(\begin{array}{cc}y_1\\ \\ y_2\end{array}\right)=\left(\begin{array}{cc}X_1~~0 \\ \\ X_2~~X_2\end{array}\right)\left(\begin{array}{cc}\beta_1\\ \\ \delta\end{array}\right)+\left(\begin{array}{cc}\varepsilon_1 \\ \\ \varepsilon_2\end{array}\right)$

dove 0=n1×k

Ponendo $W=\left(\begin{array}{cc}0 \\ X_2\end{array}\right)$

il test si esplicita nella seguente maniera $H_0:\delta=0$

Statistica del Chow Test

Dal momento che il vettore dei residui non vincolati è formato dai residui stimati con le prime n1 osservazioni ed anche con le seconde n2 osservazioni

$\hat\varepsilon_{nv}=\left(\begin{array}{cc}y_1\\ \\y_2\end{array}\right)-\left(\begin{array}{cc}X_1~~0 \\ \\ X_2~~X_2\end{array}\right)\left(\begin{array}{cc}\beta_1\\ \\ \delta\end{array}\right)=\left(\begin{array}{cc}\hat\varepsilon_1 \\ \\ \hat\varepsilon_2\end{array}\right)$

La SQR non vincolata sarà uguale alla somma della SQR del modello per il primo gruppo di osservazioni e della SQR del modello per il secondo gruppo di osservazioni $SQR_{nv}=\hat\varepsilon_1'\hat\varepsilon_1 '+\hat\varepsilon_2'\hat\varepsilon_2'$

La SQR del modello vincolato è data dai residui del modello completo:

$SQR_v=\hat\varepsilon '\hat\varepsilon$

La statistica F è, pertanto, la seguente

$F=\frac{[SQR_v-(SQR_1+SQR_2)]/k}{(SQR_1+SQR_2)/(n-2k)}\sim F_{(k;n-2k)}$

Da notre 2k al denominatore

Esempio 4: Chow test sul set di dati “Penn World”

Test di White

È un test di eteroschedasticità: riguarda una ipotesi classica in particolare Var (ε_i /X)=σ², i
Se c’è eteroschedasticità, la varianza condizionale degli errori è funzione di un insieme di variabili condizionanti e di un insieme di parametri:

Var (ε_i/ X, W) = f (W, δ)

Dal momento che Var ε_i= E (ε_i)²si può affermare che:

E (ε_i²/ X, W) + u_i =f (W, δ) +u_idove E (u_i/X;W) =0

Ipotesi del test di White

Il test di White utilizza il quadrato dei residui MQO come variabile dipendente, una forma lineare come funzione, e come regressori le stesse variabili, i quadrati delle stesse ed i loro prodotti incrociati:

H₀ :δ =0

L’idea che sta alla base del test di White è che se E(ε²_i/ X) =σ² appartiene i , allora la v.c. ε²_i è incorrelata sia con X che con sue trasformazioni quali i quadrati o i prodotti incrociati.

Specificazione del test di White

La regressione ausiliaria, ipotizzando un modello con 2 predittori è quindi la seguente:

$\hat\varepsilon_i^2=\delta_1+\delta_2x_{i2}+\delta_3x_{i3}+\delta_4x_{i2}^2+\delta_5x^2_{i3}+\delta_6x_{i1}x_{i3}+u_i$

Il modello vincolato, come sempre, è quello con i soli predittori.

Per una numerosità sufficientemente grande, la statistica segue una distribuzione F (in questo caso) con 5 gradi di libertà al numeratore e (n-6) al denominatore.

In generale:

$\hat\varepsilon_i^2=\delta_1+\sum_{j=2}^k\delta_jx_{ij}+\sum_{j=2}^k\delta_{k-1+j}x^2_{ij}+\sum_{j=2}^{k-1}\sum_{l=j+1}^{k}\delta_{jl}x_{ij}x_{il}+u_i$

Il test segue una distribuzione F con

$\left[2(k-1)+\sum_{j=2}^{k-1}(k-j)\right]\longrightarrow \text{Gradi di liberta' al numeratore}$

$n-\left[2(k-1)+\sum_{j=2}^{k-1}(k-j)\right]\longrightarrow \text{Gradi di liberta' al denominatore}$

Semplificazione del test di White

La statistica test è una F di Snedecor Fisher.

Spesso si fa ricorso a versioni semplificate del test di White.

Si regrediscono i quadrati dei residui verso i predittori ed i loro quadrati (come fa gretl)
Si regrediscono i quadrati dei residui verso le y stimate ed i loro quadrati

C’è da dire, però, che mentre si possono risolvere alcuni problemi (troppi coefficienti nella regressione ausiliaria) ne possono sorgere altri (il test può segnalare la omissione di qualche quadrato).

Esempio 5: Analisi grafica dei residui del valore delle case a Boston

Esempio 5: Test di White del valore delle case a Boston

Test di Jarque e Bera

La verifica dell’ipotesi di normalità degli errori si basa sull’analisi dei momenti terzo (asimmetria) e quarto (curtosi) dal valor medio dei residui.

Il test più frequentemente utilizzato per verificare tale ipotesi è il test di Jarque e Bera

$JB=T\left[\frac 1 6\left(\frac 1 n \sum_{i=1}^n\frac{\hat\varepsilon_i^3}{\sigma^3}\right)^2+\frac 1 {24}\left(\frac 1 n \sum_{i=1}^n\frac{\hat\varepsilon_i^4}{\sigma^4}-3\right)^2\right]$

Si distribuisce come una v.c.χ² con 2 gradi di libertà.

Esempio 6: distribuzione dei residui del valore delle case a Boston

Esempio 6: J&B test sui residui del valore delle case a Boston

Test di collinearità

Non esiste un test specifico per cogliere la presenza di multicollinearità, ma si osservano le caratteristiche dell’equazione stimata:

la presenza di un elevato R² con coefficienti di regressione non significativi (t-scores)
la presenza di grave multicollinearità è strettamente legata alla proporzione di t-scores non significativi
coefficienti di correlazione tra le variabili elevati
elevati VIF (Variance Inflation Factors)

Esempio 7: collinearità nel dataset interno di Gretl “greene7_8″

Variance Inflation Factor (VIF)

Un indicatore di multicollinearità spesso utilizzato nella pratica è il Variance Inflation Factor (fattore di inflazione della varianza).
Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all’espressione:

VIF_j = 1/1-R²_j

La varianza dell’elemento j-esimo del vettore delle stime MQO è proporzionale al VIF.

Un elevato VIF è indice di dipendenza lineare tra la colonna j-esima e le restanti colonne della matrice X, ossia è un indice di multicollinearità.

Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità.