Vai alla Home Page About me Courseware Federica Living Library Federica Federica Podstudio Virtual Campus 3D Le Miniguide all'orientamento Gli eBook di Federica La Corte in Rete
 
 
Il Corso Le lezioni del Corso La Cattedra
 
Materiali di approfondimento Risorse Web Il Podcast di questa lezione

Roberta Siciliano » 4.I test diagnostici sulla regressione lineare multipla


Obiettivi e contenuti

Obiettivi

Verificare la plausibilità delle ipotesi classiche alla base del modello di regressione lineare, attraverso i test diagnostici, o test di errata specificazione, che hanno il fine di controllare l’efficienza e la correttezza della stima OLS dei parametri del modello.

Comprendere il significato e l’utilizzo dei test diagnostici nell’ambito del modello di regressione lineare per validare la plausibilità delle ipotesi classiche del modello.

L’eventuale rifiuto dell’ipotesi nulla di un test diagnostico non ha come conseguenza il ritenere valida l’ipotesi alternativa, ma conduce solo ad un campanello d’allarme di non coerenza tra quanto ipotizzato e le osservazioni disponibili.

Contenuti

  • La logica dei test diagnostici
  • Test di Ramsey – RESET
  • Test di Durbin-Watson
  • Chow Test
  • Test di White
  • Test di Jarque e Bera

La logica dei test diagnostici

Si basano sull’analisi dei residui dei MQO e spesso si calcolano come statistiche F (confronto tra SQRv [Somma dei quadrati dei residui del modello vincolato] e SQRnv [Somma dei quadrati dei residui del modello non vincolato]).

In tali contesti il modello non vincolato prende il nome di equazione (o modello) ausiliaria.
↓↓

I test diagnostici si interpretano come problemi di variabili omesse, ovvero non corretta specificazione del modello.

Specificazione dei test diagnostici

y = Xβ + ε → Modello stimato (potenzialmente scorretto)

y = Xβ + Wγ + η → Modello generale (ausiliario)

dove W sono i Regressori Omessi e γ sono i Coefficienti associati ai Regressori Omessi.

Se il modello ausiliario è  quello giusto (cioè se γ≠ 0), allora lo stimatore  dei MQO del modello stimato è distorto.

E(\hat \beta |X,W)=E[(X'X)^{-1}X'(X\beta^*W\gamma+\eta)|X,W]=

=\beta^*+(X'X)^{-1}+X'W\gamma+X'E(\eta|X,W)=\beta^*+(X'X)^{-1}+X'W\gamma\ne\hat\beta

La statistica test

Per verificare la significatività dei regressori W si applica un test di significatività congiunta di tutti i parametri.

\hat\varepsilon=y-X\hat\beta^*+W\gamma+\eta-X\hat\beta=X(\beta^*-\hat\beta)+W\gamma+\eta=Xb+W\gamma+\eta

\text{con } b=\beta^*-\hat\beta

Ricordiamo:

y = Xβ + ε → Modello stimato (potenzialmente scorretto) (Vincolato)

y = Xβ + Wγ + η → Modello generale (ausiliario) (Non Vincolato)

I residui del modello non vincolato sono dati dall’equazione ausiliaria

F=\frac{(SQR_v-SQR_{nv})/h}{SQR_{nv}/(n-k-h)}

In pratica si sottopone a verifica l’ipotesi nulla: H0 : γ = 0

Applicabilità dei test diagnostici

Problemi:

Se h > (n – k) il test non è calcolabile
Le variabili W spesso (e in pratica) non sono note a priori
Le variabili W sono considerate delle proxy, cioè variabili pensate solo allo scopo di cogliere possibili errori di specificazione

Esempio 1: il valore delle case a Boston


Esempio: modello vincolato


Esempio: modello non vincolato


Esempio 1: output del test in Gretl

La diagnostica del modello è la seguente:

F=\frac{(SQR_v-SQR_{nv})/h}{SQR_{nv}/(n-k-h)}=\frac{(11081,4-11078,8)/2}{11078,8/(506-12-2)}\frac{1,3}{22,5179}=0,0577

P-value[F_{(0,0577;2,492)}]=0,9439

Si accetta l’ipotesi nulla in quanto il valore di probabilità è altissimo e pertanto il modello è correttamente specificato.


Test RESET: test di Ramsey

Il test RESET (REgression Specification Error Test) tende a verificare:

  • la non appropriata scelta della forma funzionale
  • la possibile omissione di variabili nel modello

Si stima il modello con i k regressori attraverso i MQO e si aggiungono le potenze degli stessi valori stimati fino ad un generico grado p

γ = β0 + β1x12x2 +….+βkxk + γ1

Questo modello (non vincolato) rappresenta l’equazione ausiliaria.

Bisogna, pertanto, sottoporre a verifica l’ipotesi nulla:

H0 : γh = 0 per h = 1,…,(p – 1)

Esempio 2: test di Ramsey sul valore delle case a Boston


Test RESET: interpretazione dei risultati

  • Il test RESET è utile perché segnala qualcosa di errato nella specificazione
  • Il test RESET non indica alternative specifiche al modello dato
  • Si dice che sia un “test non costruttivo”
  • Non fornisce indicazioni su come agire per superare il problema.

Il test di Durbin Watson

E’ il test più usato per verificare la presenza di autocorrelazione degli errori.
Una delle ipotesi classiche afferma che Eiεj / X)= 0 per i≠ j

Il test DW verifica la presenza di correlazione nel termine di errore. Il caso più frequente è quello delle serie storiche, nella quale ogni unità statistica è osservata ripetutamente nel tempo e viene utilizzata la t come indice delle osservazioni. In questo caso, quando vi è una possibile correlazione tra εt e ε t-1 , si parla di autocorrelazione o di correlazione seriale.
Ma anche in dati di tipo cross-section vi può essere correlazione tra gli errori di unità contigue. Si parla, allora, di correlazione spaziale.

Esso viene applicato solo quando il modello di regressione presenta intercetta; la correlazione seriale è del primo ordine; tra i regressori non vi è la variabile risposta ritardata.

La statistica test di Durbin- Watson

La statistica DW è la seguente:

La sommatoria al numeratore parte da 2 perché, altrimenti, non si potrebbe calcolare il residuo al tempo t-1.

Autocorrelazione positiva


Autocorrelazione negativa


Approssimazione della statistica test DW

Considerando che

E[(\varepsilon_t\varepsilon_{t-1})^2]=E(\varepsilon_t^2)+E(\varepsilon^2_{t-1})-2E(\varepsilon_t\varepsilon_{t-1})

E ricordiamo che l’omoschedasticità degli errori, da cui E(\varepsilon_t^2)=E(\varepsilon^2_{t-1})

Si ha

E[(\varepsilon_t\varepsilon_{t-1})^2]=E(\varepsilon_t^2)+E(\varepsilon^2_{t})-2E(\varepsilon_t\varepsilon_{t-1})

Dividendo ambo i membri per E(\varepsilon^2_t)

\frac{E[(\varepsilon_t\varepsilon_{t-1})^2]}{E(\varepsilon_t^2)}=\frac{2E(\varepsilon_t^2)-2E(\varepsilon_t\varepsilon_{t-1})}{E(\varepsilon_t^2)}=2-2\frac{E(\varepsilon_t\varepsilon_{t-1})}{E(\varepsilon_t^2)}=2(1-\rho)

Ipotesi del test DW

Ricordando la statistica DW=\frac{\sum_{t=2}^T(\hat\varepsilon_t-\hat\varepsilon_{t-1})^2}{\sum_{t=1}^T\hat\varepsilon_t^2}

Per una numerosità campionaria sufficientemente grande. le grandezza al numeratore si eguagliano, pertanto

DW\approx 2(1-\hat \rho)

Il test DW sottopone a verifica l’ipotesi nulla H_0:\rho=0

Se ci fosse perfetta correlazione positiva, DW sarebbe pari a 0.

Se ci fosse perfetta correlazione negativa, DW sarebbe apria 4.

Se non ci fosse correlazione, DW sarebbe pari a 2.

Pertanto la distribuzione campionaria di DW tende a 2 in assenza di correlazione, mentre tende a 4 per correlazioni negative e a 0 per correlazioni positive.

Le tavole per la statistica campionaria DW


L’interpretazione grafica della statistica DW


Esempio 3: autocorrelazione nel set di dati proveniente dalla “Penn World” (disponibile sul server on-line di Gretl)

Dalla finestra principale di Gretl cliccare su File, poi su Apri dati, selezionare importa, ed infine cliccare su excel.

A questo punto selezionare il file da importare scegliendo l’opportuna destinazione dello stesso.

Dalla finestra principale di Gretl cliccare su File, poi su Apri dati, selezionare importa, ed infine cliccare su excel. A questo punto selezionare il file da importare scegliendo l'opportuna destinazione dello stesso.


Esempio 3: valori critici della statistica DW


Esempio 3: regole di decisione


Chow Test

Chow test sulla stabilità dei parametri (break strutturale)

Si divide il campione in due sottocampioni, di numerosità rispettivamente n1 e n2 in modo che in entrambi possano essere applicati i MQO (i due sottocampioni devono essere in grado di essere stimati entrambi).

Si ha:

y2 = X2+ β2 + ε2

y1 = X1+ β1 + ε1

con ipotesi H0: β12

Specificazione del Chow Test

Ponendo \beta_2=\beta_1+\delta

Le equazioni precedenti possono essere scritte come

y_2=X_2\beta_1+X_2\delta+\varepsilon_2

Oppure equivalentemente

\left(\begin{array}{cc}y_1\\ \\ y_2\end{array}\right)=\left(\begin{array}{cc}X_1~~0 \\ \\ X_2~~X_2\end{array}\right)\left(\begin{array}{cc}\beta_1\\ \\ \delta\end{array}\right)+\left(\begin{array}{cc}\varepsilon_1 \\ \\ \varepsilon_2\end{array}\right)

dove 0=n1×k

Ponendo W=\left(\begin{array}{cc}0 \\ X_2\end{array}\right)

il test si esplicita nella seguente maniera H_0:\delta=0

Statistica del Chow Test

Dal momento che il vettore dei residui non vincolati è formato dai residui stimati  con le prime n1 osservazioni ed anche con le seconde n2 osservazioni

\hat\varepsilon_{nv}=\left(\begin{array}{cc}y_1\\ \\y_2\end{array}\right)-\left(\begin{array}{cc}X_1~~0 \\ \\ X_2~~X_2\end{array}\right)\left(\begin{array}{cc}\beta_1\\ \\ \delta\end{array}\right)=\left(\begin{array}{cc}\hat\varepsilon_1 \\ \\ \hat\varepsilon_2\end{array}\right)

La SQR non vincolata sarà uguale alla somma della SQR del modello per il primo gruppo di osservazioni e della SQR del modello per il secondo gruppo di osservazioni  SQR_{nv}=\hat\varepsilon_1'\hat\varepsilon_1 '+\hat\varepsilon_2'\hat\varepsilon_2'

La SQR del modello vincolato è data dai residui del modello completo:

SQR_v=\hat\varepsilon '\hat\varepsilon

La statistica F è, pertanto, la seguente

F=\frac{[SQR_v-(SQR_1+SQR_2)]/k}{(SQR_1+SQR_2)/(n-2k)}\sim F_{(k;n-2k)}

Da notre 2k al denominatore

Esempio 4: Chow test sul set di dati “Penn World”


Test di White

È un test di eteroschedasticità: riguarda una ipotesi classica in particolare Vari /X)=σ2, i
Se c’è eteroschedasticità, la varianza condizionale degli errori è funzione di un insieme di variabili condizionanti e di un insieme di parametri:

Vari/ X, W) = f (W, δ)

Dal momento che Var εi = E (εi)2 si può affermare che:

E (εi2/ X, W) + ui =f (W, δ) +ui dove E (ui /X;W) =0

Ipotesi del test di White

Il test di White utilizza il quadrato dei residui MQO  come variabile dipendente, una forma lineare come funzione, e come regressori le stesse variabili, i quadrati delle stesse ed i loro prodotti  incrociati:

H0 :δ =0

L’idea che sta alla base del test di White è che se E(ε2i / X) =σ2 appartiene i , allora  la v.c. ε2i è incorrelata sia con X che con sue trasformazioni quali i quadrati o i prodotti incrociati.

Specificazione del test di White

La regressione ausiliaria, ipotizzando un modello con 2 predittori è quindi la seguente:

\hat\varepsilon_i^2=\delta_1+\delta_2x_{i2}+\delta_3x_{i3}+\delta_4x_{i2}^2+\delta_5x^2_{i3}+\delta_6x_{i1}x_{i3}+u_i

Il modello vincolato, come sempre, è quello con i soli predittori.

Per una numerosità sufficientemente grande, la statistica segue una distribuzione F (in questo caso) con 5 gradi di libertà al numeratore e (n-6) al denominatore.

In generale:

\hat\varepsilon_i^2=\delta_1+\sum_{j=2}^k\delta_jx_{ij}+\sum_{j=2}^k\delta_{k-1+j}x^2_{ij}+\sum_{j=2}^{k-1}\sum_{l=j+1}^{k}\delta_{jl}x_{ij}x_{il}+u_i

Il test segue una distribuzione F con

\left[2(k-1)+\sum_{j=2}^{k-1}(k-j)\right]\longrightarrow \text{Gradi di liberta' al numeratore}

n-\left[2(k-1)+\sum_{j=2}^{k-1}(k-j)\right]\longrightarrow \text{Gradi di liberta' al denominatore}

Semplificazione del test di White

La statistica test è una F di Snedecor Fisher.

Spesso si fa ricorso a versioni semplificate del test di White.

  • Si regrediscono i quadrati dei residui verso i predittori ed i loro quadrati (come fa gretl)
  • Si regrediscono i quadrati dei residui verso le y stimate ed i loro quadrati

C’è da dire, però, che mentre si possono risolvere alcuni problemi (troppi coefficienti nella regressione ausiliaria) ne possono sorgere altri (il test può segnalare la omissione di qualche quadrato).

Esempio 5: Analisi grafica dei residui del valore delle case a Boston


Esempio 5: Test di White del valore delle case a Boston


Test di Jarque e Bera

La verifica dell’ipotesi di normalità degli errori si basa sull’analisi dei momenti terzo (asimmetria) e quarto (curtosi) dal valor medio dei residui.

Il test più frequentemente utilizzato per verificare tale ipotesi è il test di Jarque e Bera

JB=T\left[\frac 1 6\left(\frac 1 n \sum_{i=1}^n\frac{\hat\varepsilon_i^3}{\sigma^3}\right)^2+\frac 1 {24}\left(\frac 1 n \sum_{i=1}^n\frac{\hat\varepsilon_i^4}{\sigma^4}-3\right)^2\right]

Si distribuisce come una v.c.χ2 con 2 gradi di libertà.

Esempio 6: distribuzione dei residui del valore delle case a Boston


Esempio 6: J&B test sui residui del valore delle case a Boston


Test di collinearità

Non esiste un test specifico per cogliere la presenza di multicollinearità, ma si osservano le caratteristiche dell’equazione stimata:

  • la presenza di un elevato R2 con coefficienti di regressione non significativi (t-scores)
  • la presenza di grave multicollinearità è strettamente legata alla proporzione di t-scores non significativi
  • coefficienti di correlazione tra le variabili elevati
  • elevati VIF (Variance Inflation Factors)

Esempio 7: collinearità nel dataset interno di Gretl “greene7_8″


Variance Inflation Factor (VIF)

Un indicatore di multicollinearità spesso utilizzato nella pratica è il Variance Inflation Factor (fattore di inflazione della varianza).
Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all’espressione:

VIFj = 1/1-R2j

La varianza dell’elemento j-esimo del vettore delle stime MQO è proporzionale al VIF.

Un elevato VIF è indice di dipendenza lineare tra la colonna j-esima e le restanti colonne della matrice X, ossia è un indice di multicollinearità.

Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità.

Esempio 7: misure V.I.F. nel dataset “greene7_8″


  • Contenuti protetti da Creative Commons
  • Feed RSS
  • Condividi su FriendFeed
  • Condividi su Facebook
  • Segnala su Twitter
  • Condividi su LinkedIn
Progetto "Campus Virtuale" dell'Università degli Studi di Napoli Federico II, realizzato con il cofinanziamento dell'Unione europea. Asse V - Società dell'informazione - Obiettivo Operativo 5.1 e-Government ed e-Inclusion