Roberto Prevete » 16.Verso le reti neurali RBF: interpolazione esatta.

Introduzione

Nella presente lezione, allo scopo di introdurre le reti neurali RBF, descriveremo

• Il metodo dell’interpolazione esatta per mapping funzionali da uno spazio d-dimensionale ad uno spazio target uno-dimensionale.

• Il metodo dell’interpolazione esatta per mapping funzionali da uno spazio d-dimensionale ad uno spazio target c-dimensionale.

• Quick Propagation.

Interpolazione esatta

Abbiamo visto come una rete neurale feed-forward, sotto opportune ipotesi, sia capace di approssimare bene quanto si vuole qualunque funzione continua definita su un compatto.

Introdurremmo, ora, un tipo diverso di reti neurali feed-forward dette RBF
(Radial Basis Functions, Funzioni a base radiale).

A tale scopo consideriamo, allora, sempre il medesimo problema di approssimare una funzione, a partire da un insieme di coppie input-target conosciute, utilizzando il metodo della interpolazione esatta.

Interpolazione esatta (segue)

Si consideri, quindi, un mapping da uno spazio input d-dimensionale X ⊆ R^d ad uno spazio target uno-dimensionale Y ⊆R:

f : x ∈ X → y=f(x) ∈ Y

In generale di tale mapping, come già ampiamente detto, non si conosce l’andamento della funzione f(x) ma solo alcune coppie input-output.

Si supponga, allora, di conoscere n valori di input x¹, x², . . . , xⁿ ∈ X a cui corrispondono n scalari t¹, t², . . . , tⁿ ∈ Y (il Training Set, TS).

Interpolazione esatta (segue)

Il problema dell’interpolazione esatta consiste nel trovare una funzione h(x) che soddisfi i seguenti n vincoli di interpolazione:

h(xⁱ) = tⁱ,

Con i = 1, . . . ,n.

Interpolazione esatta (segue)

L’approccio con funzioni a base radiale consiste nel ricercare la funzione h(x) come combinazione lineare di n funzioni, φ_j(x), che dipendono dalla distanza (in genere euclidea) di x dall’origine o da un centro μ_j.

La forma di tali funzioni è la seguente:

φ_j(x) = φ(|| x – μ_j ||)
con j = 1, . . . ,n

Interpolazione esatta (segue)

E’ importante sottolineare che:

φ è una funzione, in genere, non lineare.
Una scelta tipica di tali funzioni è la gaussiana φ(x)=exp(-x²/2σ²)

|| x – μ^j || è, in genere, la distanza euclidea di x da un centro μ^j.

Interpolazione esatta (segue)

Dunque h(x) avrà la forma:

h(x) =∑_j=1…n w_j φ_j(x)

Il centro della funzione j-esima, nel caso di interpolazione esatta viene scelto uguale
al vettore di input j-esimo, cioè

μ^j = x^j .

Interpolazione esatta (segue)

Ponendo:
φ_ij = φ_j (xⁱ)

la condizione di interpolazione prima imposta, cioè

h(xⁱ) = tⁱ

può essere espressa, come:

∑_j=1…n w_jφ_ij = tⁱ con i=1,2, …,n

Interpolazione esatta (segue)

Interpolazione esatta (segue)

Dove:

• t e w sono vettori di dimensione n e;

• φ è matrice quadrata n × n con φ_ij corrispondente al valore di φ_j(x);

calcolato nel punto i-simo del Training Set.

Quindi sulla colonna j di φ ci sono i valori di φ_j(x) calcolati per tutti i punti del TS.

Interpolazione esatta (segue)

Importante

Una volta scelto il tipo di funzione di base φ da utilizzare,
il problema dell’interpolazione esatta si riduce alla stima
dei valori del vettore w.

Interpolazione esatta (segue)

Allora dalla formula

φ w^T=t

Se φ è invertibile, si deduce che:

w^T=φ^-1t

Quindi per la i-esima componente di w risulta che:

w_i = ∑_j=1..n (φ^-1)_ij t^j con i = 1, . . . ,n

Ovviamente è necessario verificare che per il tipo di funzione di base scelta l’inverso della matrice φ esista!

Interpolazione esatta (segue)

Il caso di un mapping da un insieme multi-dimensione ad uno monodimensionale può essere facilmente esteso al caso di un mapping fra due insiemi multi-dimensionali.

Si consideri, allora, un mapping da uno spazio input d-dimensionale X ⊆ R^d ad uno spazio target c-dimensionale Y ⊆R^c:

f : x ∈ X → y=f(x) ∈ Y

Interpolazione esatta (segue)

In tal caso ogni vettore di input xⁱ dovrà essere mappato esattamente in un vettore di output ti di componenti tⁱ₁, tⁱ₂, . . . , tⁱ_c.

Per cui l’equazione abbiamo:

h_k(xⁱ) = t^ik con i = 1, . . . ,n e k=1,2, …,c

dove h_k(xⁱ) è ottenuta sempre come combinazione lineare di funzioni a base radiale:

h_k(x) =∑_j=1…n w_kjφ_j(x)

Interpolazione esatta (segue)

La condizione

h_k(xⁱ) = tⁱ_k

diventa

∑_j=1…n w_kjφ_j(xⁱ)= tⁱ_k

con i = 1, . . . ,n e k=1,2, …,c

Che in forma matriciale compatta possiamo scrivere come

φW^T=T

Interpolazione esatta (segue)

Interpolazione esatta (segue)

Quindi:

• φ è una matrice nXn di valori conosciuti (una volta fissato il training set e le funzioni a base radiale).

• W è una matrice cXn di coefficienti da determinare.

• T è una matrice nXc dove la la j-sima riga di T corrisponde a t^j.

Anche in questo caso, allora, se φ è invertibile, abbiamo

W^T= φ^-1T

Prossima lezione

Sulla base di quanto detto nella prossima lezione introdurremo:

• Le reti neurali RBF