Home

Federica EU

1/18

Roberta Siciliano » 7.Teoria della verifica delle ipotesi: la costruzione del test parametrico

I contenuti

Il problema
Il test statistico
La costruzione del test parametrico
Le ipotesi statistiche
La statistica test
La regola di decisione e i tipi di errore
Il test più potente
La funzione potenza test
Lo schema per l’applicazione
Il test parametrico sulla media
Casi studio e applicazioni

Il problema

Ipotesi

Sia data una popolazione finita e su di essa sia definita una v.c. X continua o discreta distribuita secondo una funzione di densità o distribuzione di probabilità che dipenda completamente da un parametro “teta” (scalare) appartenente ad uno spazio parametrico prefissato.

Di seguito, si assume, senza perdere in generalità, che sia uno solo parametro da cui dipende il modello di probabilità.

Obiettivo

Verificare la plausibilità di un’affermazione (ipotesi statistica) riguardante la popolazione, ovvero il parametro da cui dipende o il modello di probabilità, sulla base dell’evidenza campionaria.

Popolazione teorica caratterizzata dal parametro “teta”

Il test statistico

Il test statistico

E’ un giudizio di conformità probabilistica fra campione e popolazione e serve per decidere se alcune situazioni ipotetiche concernenti la popolazione appaiono ragionevoli o meno alla luce dell’evidenza empirica.

Ipotesi statistica

E’ un’affermazione riguardante i parametri del modello di probabilità o il processo che ha generato le osservazioni campionarie.

Test parametrico

Supposto noto il modello di probabilità a meno del valore di uno o più parametri, l’ipotesi sottoposta a verifica riguarda il valore di uno dei parametri (ipotesi parametrica).

Test non parametrico

L’ipotesi può altresì riguardare la scelta del modello di probabilità o altri aspetti non direttamente riconducibili al valore dei parametri (ipotesi non parametrica).

La costruzione del test parametrico

Il test parametrico si costruisce in tre passi:

Definizione delle ipotesi statistiche.
Scelta della variabile o statistica test.
Formalizzazione del criterio o regola di decisione.

Le ipotesi statistiche

Si formulano due ipotesi H0 e H1 circa il valore che θ può assumere. Si vuole stabilire se sia più probabile che il campione osservato provenga da una popolazione con valore del parametro specificato dalla IPOTESI NULLA H0 o dalla IPOTESI ALTERNATIVA H1.

La formulazione delle ipotesi H0 e H1 conduce ad una partizione dello spazio parametrico θ in due sottoinsiemi disgiunti: θ0 indotto dalla H0 e θ1 indotto dalla H1.

L’ipotesi statistica è detta semplice quando si afferma che il parametro sia pari ad un dato valore numerico:
θ = θ*

L’ipotesi statistica è detta composta quando si afferma che il parametro sia pari ad uno tra più valori numerici.

L’ipotesi composta è detta bidirezionale quando si afferma che il parametro sia diverso da un particolare valore dello spazio parametrico, ovvero può assumere un qualsiasi altro valore:
θ ≠ θ*

L’ipotesi composta è detta unidirezionale quando si afferma che il parametro sia maggiore di un dato valore numerico, altresì sia minore:
θ > θ*
θ < θ*

La statistica test

La STATISTICA TEST è una funzione d(X) che fa corrispondere ad ogni campione casuale un valore numerico che può essere classificato come coerente o meno con l’ipotesi specificata dalla H0.

Il test statistico conduce ad una partizione dell’universo dei campioni in due sottoinsiemi complementari:

la REGIONE DI ACCETTAZIONE (A), ovvero i campioni per i quali la statistica test assume valori compatibili con H0;
la REGIONE CRITICA O DI RIFIUTO (C), ovvero i campioni per i quali la statistica test assume valori compatibili con H1.

Usualmente, la statistica test deriva da una trasformazione dello stimatore utilizzato nella stima del parametro. Come lo stimatore, la statistica test assume valori diversi al variare del campione ed è pertanto una variabile casuale. Alcune trasformazioni dello stimatore consentono di derivare statistiche test la cui distribuzione campionaria è nota. Ad esempio, nel test parametrico sulla media di una popolazione normale con varianza nota, si ottiene una variabile normale standardizzata.

La regola di decisione e i tipi di errore

Regola di decisione

E’ il criterio che consente di discriminare i valori numerici della statistica test compatibili con la regione di accettazione da quelli compatibili con la regione critica.

A-priori sono possibili quattro situazioni ipotetiche e chiaramente incompatibili: rispetto all’ipotesi vera sulla popolazione, si decide in favore di H0 o in favore di H1, potendo scegliere in maniera corretta o potendo commettere due tipi di errore.
Ciascuno di questi quattro eventi ha una probabilità a-priori di verificarsi.

A-posteriori, ovvero dopo aver estratto il campione e presa una decisione con la statistica test, non ha senso parlare di probabilità di decisioni giuste o errate, in quanto non essendo nota l’ipotesi vera sulla popolazione si è già commesso di fatto un errore o si è già presa di fatto una decisione giusta.

Tavola delle decisioni

Errore del I ed errore del II tipo

Probabilità dell’errore del I tipo
Supposta vera l’ipotesi H0 due sono gli eventi che si possono verificare a-priori: prendere la decisione giusta accettando l’ipotesi nulla, con probabilità (1-α), oppure prendere la decisione sbagliata rifiutando l’ipotesi alternativa (Errore del I tipo), con probabilità α.
La probabilità di commettere l’errore del I tipo corrisponde alla probabilità che la statistica test assuma un valore numerico che rientra nella regione critica del test (e quindi compatibile con l’ipotesi alternativa) quando invece è vera l’ipotesi nulla.

Probabilità dell’errore del II tipo
Supposta vera l’ipotesi H1 due sono gli eventi che si possono verificare a-priori: prendere la decisione giusta rifiutando l’ipotesi nulla, con probabilità (1-β), oppure prendere la decisione sbagliata accettando l’ipotesi nulla (Errore del II tipo), con probabilità β.
La probabilità di commettere l’errore del II tipo corrisponde alla probabilità che la statistica test assuma un valore numerico che rientra nella regione accettazione del test (e quindi compatibile con l’ipotesi nulla) quando invece l’ipotesi nulla è da rigettare.

Calcolo delle probabilità di commettere l'errore del I tipo e l'errore del II tipo

Il test più potente

La scelta dell’ipotesi nulla
L’ipotesi nulla H0 rappresenta lo “status quo” mentre l’ipotesi alternativa H1 rappresenta l’innovazione.
Ne segue che l’ipotesi nulla H0 viene assunta vera fino a prova contraria e si vuole provare falsa “al di là di ogni ragionevole dubbio”.

Per provare la falsità dell’ipotesi nulla occorre fissare una regola di decisione che conduca ad una probabilità di commettere l’errore del I tipo che possa ritenersi irrilevante, ovvero relativamente bassa, tale cioè da non costituire un ragionevole dubbio.

Test più potente al livello di significatività α (Lemma di Neyman e Pearson)
Si fissa la probabilità α e si determina la regola di decisione che discrimina la regione critica dalla regione di accettazione minimizzando l’altra probabilità β, ovvero massimizzando la potenza del test (1-_). Il Lemma di Neyman e Pearson ci consente di derivare il criterio o regola di decisione ottimale per discriminare la regione di accettazione da quella di rifiuto massimizzando la potenza del test a parità di livello di significatività.

Test uniformemente più potente
Si costruisce un test uniformemente più potente qualora si fissi un’ipotesi alternativa composta unidirezionale.
In tal caso, in corrispondenza di un valore prefissato di significatività α non si avrà un solo valore che esprime la potenza del test ma si avranno tanti valori quanti sono i valori alternativi del parametro θ, definendo così la funzione potenza del test: [1-β(θ)] = h(θ).

La funzione potenza del test e numerosità campionaria

Nella costruzione del test si pone come ipotesi nulla quella per la quale si ritengono più gravi le conseguenze derivanti dal commettere un errore del primo tipo, così che si sceglie un opportuno valore α del livello di significatività.

Qualora si desideri controllare, oltre alla probabilità dell’errore del I tipo, anche quella dell’errore del II tipo, occorre determinare la numerosità campionaria in modo tale che il test garantisca, oltre al livello di significatività α, anche una potenza del test (1-β) prefissata.

Per un test in cui sono contrapposte due ipotesi di tipo semplice, fissato il livello di significatività al crescere della numerosità campionaria aumenta la potenza del test.

In figura: Funzioni potenza del test (ipotesi alternativa unidirezionale del tipo θ < θ0) al crescere della numerosità campionaria

Lo schema per l’applicazione

CONSIDERAZIONI GENERALI: scelta del modello di probabilità, campionamento, assunzioni.
IPOTESI STATISTICHE: definizione dell’ipotesi nulla e dell’ipotesi alternativa.
STATISTICA TEST: si definisce lo stimatore, la sua funzione di stima e distribuzione campionaria (con eventuale stima dei parametri non noti), e si deriva la statistica test.
REGOLA DI DECISIONE E SCELTA DELLA REGIONE CRITICA OTTIMALE DI AMPIEZZA α: sulla base della distribuzione nota della statistica test e quindi della corrispondente tavola statistica, fissato il livello di significatività α, si determina il valore critico (test unidirezionale) o i valori critici (test bidirezionale) per distinguere la regione critica dalla regione di accettazione. Si analizza la funzione potenza del test e si costruisce la regola di decisione.
ESTRAZIONE CAMPIONARIA E DECISIONE: Si determina il valore osservato della statistica test per il campione estratto e, sulla base della regola di decisione, si conclude il test accettando l’ipotesi nulla o rifiutandola.

Schema per l'applicazione del test

Test parametrico sulla media (1)

CONSIDERAZIONI GENERALI: Sia data una popolazione distribuita come una normale con varianza nota. Si consideri lo schema di campionamento casuale semplice, estrazione con ripetizione.
IPOTESI STATISTICHE: Si scelga una tra le tre formulazioni di ipotesi alternative di tipo composto.
STATISTICA TEST: Si scelga lo stimatore media campionaria la cui standardizzata, assumendo vera l’ipotesi nulla, è la statistica test.
REGOLA DI DECISIONE E SCELTA DELLA REGIONE CRITICA OTTIMALE DI AMPIEZZA α: si derivano le Regioni Critiche Ottimali (RCO) di ampiezza α per ciascuna formulazione delle ipotesi sulla base del lemma di Neyman-Pearson.

ESTRAZIONE CAMPIONARIA E DECISIONE: Si determina il valore osservato della statistica test per il campione estratto e, sulla base della regola di decisione, si conclude il test accettando l’ipotesi nulla o rifiutandola. Se il valore osservato della media campionaria rientra nella RCO si rifiuta l’ipotesi nulla con un livello di significatività pari ad α.

In figura: Regioni critiche ottimali di ampiezza α nel test parametrico sulla media (pop. normale con varianza nota) al variare della formulazione delle ipotesi statistiche.

Test parametrico sulla media (2)

Esemplificazione: Ipotesi alternativa composta del tipo μ> μ0 oppure μ= μ1

Nel caso considerato, lo stimatore media campionaria si distribuisce come una normale centrata rispetto a μ0 se è vera l’ipotesi nulla.
Le distribuzioni alternative costituiscono possibili traslazioni verso destra della stessa distribuzione al crescere del valore μ1.

Poiché la variabile test deriva dalla standardizzazione della media campionaria, tale valore critico si ottiene determinando il corrispondente valore della variabile standardizzata che lascia nella coda una massa di probabilità pari al livello di significatività α.

Test parametrico sulla media (3)

Variante 1 alle considerazioni generali: popolazione normale con varianza non nota

Occorre stimare la varianza con lo stimatore varianza campionaria corretta.

La variabile test è costruita standardizzando la v.c. Media campionaria ed ottenendo così una distribuzione t-student con (n-1) gradi di libertà.

Pertanto, le RCO possono essere derivate analogamente a sopra, sostituendo la stima della varianza alla varianza della popolazione ed il valore della t-Student che lascia in coda una massa di probabilità pari al livello di significatività _.

Nota 1: Se il campione è di numerosità superiore a 30, è possibile approssimare la t-Student con la distribuzione normale standardizzata.

Nota 2: Qualora non fosse nota la popolazione ma il campione è di numerosità superiore a 30, è possibile approssimare la distribuzione campionaria della v.c. Media campionaria con la normale (per il teorema centrale del limite), così che il test procede come sopra.

Variante 2 alle considerazioni generali: campionamento con estrazione senza ripetizione

Occorre rettificare, nelle formule sopra, la varianza della v.c. Media campionaria moltiplicandola per il fattore (N-n)/(N-1).

Esempio (1)

Problema
Una fabbrica di automobili adotta guarnizioni per freni che hanno durata media pari a 20mila chilometri. Si sta considerando di sostituirle con un nuovo tipo che dovrebbe avere durata maggiore. Queste nuove guarnizioni vengono montate su 64 auto e la loro durata media risulta pari a 22mila chilometri con varianza stimata corretta pari a 4mila. Supponendo che la durata si distribuisca come una Normale, e considerando un livello di significatività α =0,01 , si può affermare che le nuove guarnizioni non siano migliori delle precedenti?

Soluzione
L’ipotesi di partenza sarà che anche le nuove guarnizioni hanno la stessa durata delle precedenti, mentre l’ipotesi alternativa sarà che le nuove guarnizioni durano di più.
Non disponendo della varianza della popolazione, dobbiamo ricorrere alla statistica test Τ, che si distribuisce come una t-Student con n-1 gradi di libertà.
Il valore critico si trova in corrispondenza di α=0,01 ed è pari a tα=0,01,n-1=63 ≈ 2,3901
Essendo t_emp > tα,n-1 si rifiuta l’ipotesi nulla.
Pertanto, si può affermare che le nuove guarnizioni sono significativamente più efficienti delle vecchie.

Le ipotesi statistiche

La regola di decisione ed il calcolo del valore empirico

Esempio (2) I parte

Problema
La robustezza di un materiale, in una certa unità di misura, è una v.c. normale con media e varianza = 500.
Viene individuata una lega che forse è più robusta, ma più costosa, quindi si vuole eseguire un test per sapere se vale davvero la pena di usare questa nuova lega. Vengono sperimentati n = 5 provini del nuovo materiale e si ottengono i dati 1950, 2140, 2080, 2100, 2130.
Possiamo affermare con un α = 2% che la nuova lega è migliore, oppure questo valore sperimentale può essere dovuto a fluttuazioni casuali?

Soluzione
Le ipotesi da impostare
La media campionaria risulta pari a 2080.
Il valore critico risulta dalle tavole della normale standardizzata pari a Zα=0,2 =2,05.
Dato che la z empirica è di gran lunga superiore al valore critico, si rifiuta l’ipotesi nulla e si può affermare che la nuova lega è migliore.

Le ipotesi statistiche

Il calcolo del valore empirico

Esempio (2) II parte

Problema
Nell’esempio precedente, si descriva la funzione potenza del test.

Soluzione
Per determinare la funzione potenza del test (1-β) occorre calcolare la probabilità dell’errore del II tipo considerando diversi valori medi.

Si deriva il valore critico della media campionaria corrispondente al valore critico della standardizzata
Zα=0,2 =2,05.

Per ciascuna alternativa ipotizzata, si determina il valore standardizzato e dalle tavole statistiche la relativa probabilità dell’errore di II tipo.