Home

Federica EU

1/24

Antonio D'Ambrosio » 2.Alcuni processi stocastici

In questa lezione…

Processo white noise
Invertibilità
Teorema di decomposizione di Wold
Processo AR(p)
Processo MA(q)
Processo ARMA(p,q)

Processo stocastico white noise

Il white noise è un processo a componenti incorrelate, di valor medio pari a zero e di varianza costante, indicato con

$a_t \sim WN\left( {0,\sigma ^2 } \right)$

in cui

$E\left( {a_t } \right) = 0;{\rm }E\left( {a_t^2 } \right) = \sigma ^2 ;{\rm }Cov\left( {a_t ,a_s } \right) = 0{\rm }\left( {t \ne s} \right)$

In genere non si fanno ipotesi a priori sulle v.c. $a_{t1} ,a_{t2} , \dots$ .

Se, $\forall t,{\rm }a_t$ è anche una v.c. Normale, si parla allora di processo WN Gaussiano. Poichè per v.c. Normali l’incorrelazione implica l’indipendenza, un processo WN Gaussiano è a componenti indipendenti.

Invertibilità

Un processo stocastico $Y_t$ è invertibile se esiste una funzione lineare $h\left( \cdot \right)$ e un processo WN $a_t$ tale che, per ogni t, si possa scrivere:

$Y_t = h\left( {Y_{t - 1} ,Y_{t - 2} ,...} \right) + a_t$

L’invertibilità consente di esprimere un processo $Y_t$ tramite v.c. del passato, cioè tramite una funzione $h\left( \cdot \right)$ che collega $Y_t$ con le v.c. $Y_s$ con $s<t$ .

Il processo WN è da aggiungere altrimenti $Y_t$ sarebbe una funzione matematica (deterministica) di t.

Invertibilità (esempio)

Sia $Y_t = a_t - \theta a_{t - 1}$ un processo stocastico in cui $a_t = WN\left( {0,\sigma ^2 } \right)$ e $\left| \theta \right| < 1$ . Si può verificare che

………………………

$E\left( {Y_t } \right) = 0;{\rm }Var\left( {Y_t } \right) = \left( {1 + \theta ^2 } \right)\sigma ^2 ;$ $Cov\left( {Y_t ,Y_{t - 1} } \right) = - \theta \sigma ^2 ;{\rm Cov}\left( {Y_t ,Y_{t - s} } \right) = 0$

……………

Operiamo per sostituzioni successive: $Y_t = a_t - \theta a_{t - 1} {\rm - } > {\rm }a_t = {\rm }Y_t + \theta a_{t - 1} {\rm ,}$ per cui

………………

$a_{t - 1} = {\rm }Y_{t - 1} + \theta a_{t - 2} ;{\rm }a_{t - 2} = {\rm }Y_{t - 2} + \theta a_{t - 3} {\rm ; }a_{t - 3} = {\rm }Y_{t - 3} + \theta a_{t - 4} {\rm ; }...{\rm }$

Sostituendo, in sequenza, si ha:

$\begin{array}{l}Y_t = a_t - \theta (Y_{t - 1} + \theta a_{t - 2} ) = a_t - \theta ^2 a_{t - 2} - \theta Y_{t - 1} = a_t - \theta ^2 \left( {Y_{t - 2} + \theta a_{t - 3} } \right) - \theta Y_{t - 1} = \\{\rm } = a_t - \theta ^3 a_{t - 3} - \theta ^2 Y_{t - 2} - \theta Y_{t - 1} = {\rm }a_t - \theta ^3 \left( {Y_{t - 3} + \theta a_{t - 4} } \right) - \theta ^2 Y_{t - 2} - \theta Y_{t - 1} = ...{\rm } \\ \end{array}$

$= a_t {\rm - }\theta ^j a_{t - j} + \sum\limits_{{\rm i} = {\rm 1}}^{{\rm j - 1}} {\theta ^{\rm i} Y_{t - i} \left( { - 1} \right)} {\rm }$

Invertibilità (esempio) (segue)

Se $\left| \theta \right| < 1$ , allora $\mathop {\lim }\limits_{j \to \infty } \theta ^j = 0$ , per cui il processo $Y_t$ è invertibile poiché esso è composto da un white noise e da una funzione che collega $Y_t$ alle v.c. $Y_s$ , con $s<t$ . $Y_t = a_t + \sum\limits_{{\rm i} = {\rm 1}}^{{\rm j - 1}} {\theta ^{\rm i} Y_{t - i} \left( { - 1} \right)} {\rm }$ Considerazione: cosa succede se, coeteris paribus, $\left| \theta \right| > 1$ , oppure se $Y_t = a_t - \frac{1}{\theta }a_{t-1}$ , $\left| \theta \right| < 1$ e $a_t \sim WN\left( {0,\theta ^2 \sigma ^2 } \right) ?$

Teorema di decomposizione di Wold

Il teorema di decomposizione di Wold asserisce che ogni processo stocastico stazionario $Y_t$ può sempre decomporsi in due processi stocastici stazionari e tra loro mutuamente incorrelati

$Y_t = Z_t + \sum\limits_{{\rm i} = {\rm 0}}^\infty {\psi _i \varepsilon _{t - i} }$

con

$\varepsilon _t \sim WN\left( {0,\sigma ^2 } \right){\rm , }\psi _0 = 1{\rm e }\sum\limits_{{\rm i} = 1}^\infty {\psi _i^2 < \infty }$

in cui $Z_t$ è una componente deterministica mentre l’altra componente, detta processo lineare poiché costituita da una combinazione lineare infinita di processi WN, costituisce la parte stocastica.

Processo autoregressivo

Un processo autoregressivo di ordine p è dato dalla relazione

$Y_t = \delta + \varphi _1 Y_{t - 1} + \varphi _2 Y_{t - 2} + ... + \varphi _p Y_{t - p} + \varepsilon _t$

Il valore atteso e la funzione di autocovarianza sono

$E\left( {Y_t } \right) = \frac{\delta }{{1 - \varphi _1 - \varphi _2 - ... - \varphi _p }}$ ………………..

$\gamma _0 = \frac{{\sigma _\varepsilon ^2 }}{{1 - \varphi _1 \rho _1 - \varphi _2 \rho _2 - ... - \varphi _p \rho _p }}$

………………

$\gamma _k = \left\{ {\begin{array}{*{20}c}{\varphi _1 \gamma _1 + \varphi _2 \gamma _2 + ... + \varphi _p \gamma _p + \sigma ^2 {\rm }k = 0} \\{\varphi _1 \gamma _{k - 1} + \varphi _2 \gamma _{k - 2} + ... + \varphi _p \gamma _{k - p} {\rm }k > 0} \\\end{array}} \right$

Operatore ritardo

L’operatore ritardo viene generalmente indicato con la lettera B ed è un operatore che si applica a sequenze di numeri. In sostanza trasforma una sequenza (stocastica o no) $x_t$ in un’altra sequenza che ha la caratteristica di avere gli stessi valori di $xt$ , ma sfalsati di un periodo. Applicato ad una costante, la lascia invariata.

$By_t = y_{t - 1} ;{\rm }Bk = k;{\rm }B^n y_t = y_{t - n} ;{\rm }B^0 = 1.$

L’operatore ritardo gode della proprietà della linearità

$(k + jB)Y_t = kY_t + jY_{t - 1}$

Utilizzando l’operatore ritardo, specificando che $\phi (B) = (1 - \phi _1 B - ... - \phi _p B^p )$ ,

un processo AR(p) può essere formulato come

$Y_t = \delta + \varphi _1 Y_{t - 1} + \varphi _2 Y_{t - 2} + ... + \varphi _p Y_{t - p} + \varepsilon _t$

In forma compatta, viene indicato nel modo seguente:

$\phi (B)Y_t = \delta + \varepsilon _t$

Stazionarietà e invertibilità dei processi AR(p)

Un processo AR(p) è sempre invertibile. Si dimostra che se tutte le radici dell’equazione caratteristica $\phi (B) = 0$ sono in modulo maggiori di uno, allora è stazionario.

L’autocorrelazione vale

$\rho _k = \phi _1 \rho _{k - 1} + ... + \phi _p \rho _{k - p}$ .

Il correlogramma di un processo AR(p) è costituito da infiniti termini per qualunque valore di p. Le autocorrelazioni tendono a zero in modo monotonico o con oscillazioni a seconda del valore dei parametri. Si dice che i processi AR sono a memoria lunga.

Si dimostra che la PACF di un processo AR(p) è costituita esattamente da p termini, ovvero da tanti termini quanto è l’ordine del processo. La PACF è quindi uno strumento importantissimo per la determinazione di un processo stocastico AR in quanto la ACF è SEMPRE costituita da infiniti termini.

Processo AR(1)

Un processo AR(1) assume la forma

$Y_t = \delta + \phi _1 Y_{t - 1} + \varepsilon _t$

Il processo AR(1) è sempre invertibile ma è stazionario se e solo se il coefficiente è, in modulo, inferiore all’unità. Infatti

$1 - \phi _1 B = 0 \Rightarrow B = \frac{1}{{\phi _1 }} \Rightarrow \left| {\phi _1 } \right| < 1$

Inoltre

$E\left( {Y_t } \right) = \frac{{\delta }}{{1 - \varphi _1 }};{\rm }\gamma _{\rm k} = \left\{ {\begin{array}{*{20}c} {\frac{{\sigma _\varepsilon ^2 }}{{1 - \varphi _1^2 }}~~~~~{\rm per }k = 0} \\ {\varphi _1^k \gamma _0 ~~~~~{\rm per }k > 0} \\\end{array}} \right.$

,………………

$\rho _k = \varphi _1^k ;{\rm }\phi _{kk} = \left\{ {\begin{array}{*{20}c}{\varphi _1 ~~~~~{\rm per }k = 1} \\{0~~~~~{\rm per }k > 1} \\ \end{array}} \right.$

Processo AR(1) (segue)

Di fianco sono riportate le autocorrelazioni totali e parziali di un processo autoregressivo del primo ordine.

Se il coefficiente fosse negativo, la ACF avrebbe andamento oscillante e la PACF avrebbe il coefficiente di correlazione negativo.

ACF di un processo stocastico AR(1)

Processo AR(2)

Un processo AR(2) assume la forma

$Y_t = \delta + \phi _1 Y_{t - 1} + \phi _2 Y_{t - 2} + \varepsilon _t$

Il processo AR(2) è sempre invertibile ma è stazionario se e solo se:

$\left\{ {\begin{array}{*{20}c} {\varphi _2 + \varphi _1 < 1} \\ {\varphi _2 - \varphi _1 < 1} \\ { - 1 < \varphi _2 < 1} \\ \end{array}} \right.$

Inoltre:

$E\left( {Y_t } \right) = \frac{{\left( \delta \right)}}{{1 - \varphi _1 - \varphi _2 }};{\rm }\gamma _{\rm 0} = \frac{{\sigma _\varepsilon ^2 }}{{1 - \varphi _1 - \varphi _2 }}{\rm ;}$

…………….

$\rho _k = \varphi _1^{} \rho _{k - 1} + \varphi _2^{} \rho _{k - 2}$

Processo stocastico random walk

Se $\varepsilon _{\rm t} {\rm \sim WN}\left( {{\rm 0}{\rm ,}\sigma ^{\rm 2} } \right)$ , il seguente processo stocastico viene definito random walk

$Y_t = Y_{t - 1} + \varepsilon _t {\rm }$

Ponendo $Y_0 = {\rm }\eta$ , ed essendo quindi $Y_t = \eta + \sum\limits_i {\varepsilon _i }$ , si ha che

$E\left( {Y_t } \right) = \eta ;{\rm }Var\left( {Y_t } \right) = t\sigma ^2$ .

Il processo, quindi, non è stazionario. In effetti è un processo AR(1) con il coefficiente φ=1. Ci ritorneremo nella prossima lezione.

Processo a Media Mobile (MA)

Il processo stocastico lineare (in generale) è costituito da una serie illimitata di termini. Il processo MA è costituito da un numero finito q di termini, per cui si ha

$Y_t = \varepsilon _t + \psi _1 \varepsilon _{t - 1} + \psi _2 \varepsilon _{t - 2} + ... + \psi _q \varepsilon _{t - q} {\rm }$ .

Ponendo, come consuetudine, $\psi _i = - \theta _i$ si ottiene

$Y_t = \varepsilon _t - \theta _1 \varepsilon _{t - 1} - \theta _2 \varepsilon _{t - 2} - ... - \theta _q \varepsilon _{t - q}$ .

Utilizzando l’operatore ritardo, si ottiene

$Y_t = \left( {1 - \theta _1 B - \theta _2 B^2 - ... - \theta _q B^q } \right)\varepsilon _t$

Che rappresenta il processo stocastico MA(q), indicato sinteticamente con $Y_t = \theta \left( B \right)\varepsilon _t$

Momenti di un processo a Media Mobile

Per un processo a media mobile di ordine q si ha:

$E\left( {Y_t } \right) = E\left( {\varepsilon _t - \theta _1 \varepsilon _{t - 1} + \theta _1 \varepsilon _{t - 1} + ... + \theta _q \varepsilon _{t - q} } \right) = 0$

…………………..

$\gamma _k = \left( { - \theta _k + \theta _1 \theta _{k - 1} + \theta _2 \theta _{k - 2} + ... + \theta _q \theta _{q - k} } \right)\sigma _\varepsilon ^2 ~~{\rm per }~~k = 1,2,...,q$

$\gamma _k = 0~~{\rm per }~~k > q$

………………………….

$\rho _k = - \theta _k + \theta _1 \theta _{k - 1} + \theta _2 \theta _{k - 2} + ... + \theta _q \theta _{q - k} ~~{\rm per }~~k = 1,2,...,q$

$\rho _k = 0~~{\rm per }~~k > q$

Stazionarietà e invertibilità di un processo MA(q)

Un processo MA(q) è sempre stazionario, in quanto la serie è finita di ordine q e i momenti non dipendono dal tempo.

Un processo MA(q) è invertibile se e solo se le radici dell’equazione caratteristica

$\theta \left( B \right) = 1 - \theta _1 B - \theta _2 B^2 - ... - \theta _q B^q = 0$

sono in modulo maggiori di uno, cioè

$Y_t \sim MA(q)~~{\rm invertibile ~~ se }\left\{ {\begin{array}{*{20}c}{\theta \left( {B_j } \right) = 0} \\{\left| {B_j } \right| > 1{\rm }} \\ \end{array}{\rm }j = 1,2,...,q} \right.$

Processo MA(1)

Un processo MA(1) assume la forma

$Y_t = \varepsilon _t - \theta \varepsilon _{t - 1} = \left( {1 - \theta B} \right)\varepsilon _t$ .

I momenti dono:

$E\left( {Y_t } \right) = 0;{\rm }\gamma _0 = \left( {1 + \theta ^2 } \right)\sigma _\varepsilon ^2 ;{\rm }\gamma _1 = - \theta ^2 \\ \sigma_ \varepsilon ^2 ;{\rm }\gamma _{k:k > 1} = 0$

…………………

$\rho _0 = 1;{\rm }\rho _1 = \frac{{ - \theta }}{{1 + \theta ^2 }};{\rm }\rho _{k:k > 1} = 0;{\rm }\phi _{{\rm kk}} = \frac{{ - \theta ^k \left( {1 - \theta ^2 } \right)}}{{1 - \theta ^{2(k + 1)} }}$

Condizione di invertibilità:

$1 - \theta B = 0 \to B = \frac{1}{\theta } \to \left| \theta \right| < 1$

Processo MA(2)

Un processo MA(2) assume la forma

$Y_t = \varepsilon _t - \theta _1 \varepsilon _{t - 1} - \theta _2 \varepsilon _{t - 2}$ .

I momenti dono:

$\begin{array}{l} E\left( {Y_t } \right) = 0;{\rm }\gamma _0 = \left( {1 + \theta _1^2 + \theta _2^2 } \right)\sigma _\varepsilon ^2 ;{\rm }\gamma _1 = \left( { - \theta _1 + \theta _1 \theta _2 } \right)\sigma _\varepsilon ^2 ; \\ {\rm } \\ \gamma _2 = - \theta _2 \sigma _\varepsilon ^2 ;{\rm }\gamma _{k:k > 2} = 0 \\ \end{array}$

Condizioni di invertibilità

$\left\{ {\begin{array}{*{20}c} {\theta _2 + \theta _1 < 1;} \\ {\theta _2 - \theta _1 < 1;} \\ { - 1 < \theta _2 < 1;} \\ \end{array}} \right.$

Dualità tra processi AR(p) e MA(q)

Le condizioni di stazionarietà di un processo AR sono equivalenti a quelle di invertibilità di un processo MA.
Le condizioni di invertibilità di un processo MA sono equivalenti a quelle di stazionarietà di un processo AR.
Si dimostra che un processo stazionario AR(p) può sempre essere espresso come un processo MA(∞).
Si dimostra che un processo invertibile MA(q) può sempre essere espresso come un processo AR(∞).
I coefficienti di autocorrelazione totale di un MA(q) si comportano analogamente ai coefficienti di correlazione parziale di un AR(p), p=q.
I coefficienti di autocorrelazione parziale di un MA(q) si comportano analogamente ai coefficienti di correlazione totale di un AR(p), p=q.

Processi ARMA(p,q)

I processi AR e MA possono essere composti in un unico modello misto detto ARMA che combina le caratteristiche di entrambi. Dalla struttura di un modello AR(p) si ha

$Y_t - \left( \delta \right) - \varphi _1 Y_{t - 1} - \varphi _2 Y_{t - 2} - ... - \varphi _p Y_{t - p} = \varepsilon _t$

Si potrebbe concepire la parte residua del processo AR(p) come un processo MA(q):

$\varepsilon _t - \theta _1 \varepsilon _{t - 1} - \theta _2 \varepsilon _{t - 2} - ... - \theta _q \varepsilon _{t - q}$ .

Sostituendo la seconda equazione nella prima, si ottiene

$Y_t - \left( \delta \right) - \varphi _1 Y_{t - 1} - \varphi _2 Y_{t - 2} - ... - \varphi _p Y_{t - p} = \varepsilon _t - \theta _1 \varepsilon _{t - 1} - \theta _2 \varepsilon _{t - 2} - ... - \theta _q \varepsilon _{t - q}$

che prende il nome di processo autoregressivo di ordine p e a media mobile di ordine q (ARMA(p,q)). Ricorrendo all’operatore B, un processo ARMA(p,q) può essere scritto in forma compatta come

$\varphi \left( B \right)Y_t = \delta + \theta \left( B \right)\varepsilon _t$

Processi ARMA(p,q) (segue)

Le condizioni di stabilità riguardano i coefficienti della parte MA, quelle di stazionarietà riguardano i coefficienti della parte AR.

Un processo ARMA(p,q) è stazionario se tutte le radici dell’equazione caratteristica φ(B)=0 sono, in modulo, maggiori di uno.

Un processo ARMA(p,q) è invertibile se tutte le radici dell’equazione caratteristica θ(B)=0 sono, in modulo, maggiori di uno.

Processi ARMA(p,q) (segue)

Il valore atteso di un processo ARMA(p,q) è:

$E\left( {Y_t } \right) = \frac{\delta }{{1 - \varphi _1 - ... - \varphi _p }}$

Nel definire $\gamma _k$ bisogna tenere conto anche della covarianza tra $Y_t$ e $\varepsilon _t$ . Se si definisce $\gamma _{Y\varepsilon }$ come $E\left( {Y_{t - k} \varepsilon _t } \right)$ [supponendo $E\left( {Y_t } \right) = 0$ ……………

si ha, per k $\gamma _k = \varphi _1 \gamma _{k - 1} + ... + \varphi _p \gamma _{k - p} + \gamma _{Y\varepsilon _t } - \theta _1 \gamma _{Y\varepsilon _{t - 1} } - ... - \theta _q \gamma _{Y\varepsilon _{t - q} }$ ,

mentre per k>q si ha che

$\gamma _k = \varphi _1 \gamma _{k - 1} + ... + \varphi _p \gamma _{k - p}$ .

Le autocovarianze includono i parametri θ della parte a media mobile del modello fino ad un valore k>p come per un processo MA(q).

Processo ARMA(1,1)

Un processo ARMA(1,1) assume la forma

$Y_t - \varphi _1 Y_{t - 1} = \varepsilon _t - \theta _1 \varepsilon _{t – 1}$

E’ stazionario se $\left| {\varphi _1 } \right| < 1$ , mentre è invertibile se $\left| {\theta _1 } \right| < 1$ .

Inoltre si ha:

$E\left( {Y_t } \right) = \left( {\frac{{\left( \delta \right)}}{{1 - \varphi _1 }}} \right)$ ,

in cui la costante è posta tra parentesi ad indicare che, qualora non dovesse esserci, il valore atteso è pari a zero.

……………….

$\gamma _0 = \frac{{(1 + \theta _1^2 - 2\phi _1 \theta _1 )}}{{1 - \phi _1^2 }}\sigma _\varepsilon ^2$ ; $\gamma _1 = \frac{{(\phi _1 - \theta _1 )(1 - \phi _1 \theta _1 )}}{{1 - \phi _1^2 }}\sigma _\varepsilon ^2$ ; $\rho _1 = \frac{{(\phi _1 - \theta _1 )(1 - \phi _1 \theta _1 )}}{{1 + \theta _1^2 - 2\phi _1 \theta _1 }}$ ;