Vai alla Home Page About me Courseware Federica Living Library Federica Federica Podstudio Virtual Campus 3D Le Miniguide all'orientamento Gli eBook di Federica La Corte in Rete
 
I corsi di Scienze Matematiche Fisiche e Naturali
 
Il Corso Le lezioni del Corso La Cattedra
 
Materiali di approfondimento Risorse Web Il Podcast di questa lezione

Roberto Prevete » 16.Verso le reti neurali RBF: interpolazione esatta.


Introduzione

Nella presente lezione, allo scopo di introdurre le reti neurali RBF, descriveremo

  • Il metodo dell’interpolazione esatta per mapping funzionali da uno spazio d-dimensionale ad uno spazio target uno-dimensionale.
  • Il metodo dell’interpolazione esatta per mapping funzionali da uno spazio d-dimensionale ad uno spazio target c-dimensionale.
  • Quick Propagation.

Interpolazione esatta

Abbiamo visto come una rete neurale feed-forward, sotto opportune ipotesi, sia capace di approssimare bene quanto si vuole qualunque funzione continua definita su un compatto.

Introdurremmo, ora, un tipo diverso di reti neurali feed-forward dette RBF
(Radial Basis Functions, Funzioni a base radiale).

A tale scopo consideriamo, allora, sempre il medesimo problema di approssimare una funzione, a partire da un insieme di coppie input-target conosciute, utilizzando il metodo della interpolazione esatta.

Interpolazione esatta (segue)

Si consideri, quindi, un mapping da uno spazio input d-dimensionale X ⊆ Rd ad uno spazio target uno-dimensionale Y ⊆R:

f : x ∈ X → y=f(x) ∈ Y

In generale di tale mapping, come già ampiamente detto, non si conosce l’andamento della funzione f(x) ma solo alcune coppie input-output.

Si supponga, allora, di conoscere n valori di input x1, x2, . . . , xn ∈ X a cui corrispondono n scalari t1, t2, . . . , tn ∈ Y (il Training Set, TS).

Interpolazione esatta (segue)

Il problema dell’interpolazione esatta consiste nel trovare una funzione h(x) che soddisfi i seguenti n vincoli di interpolazione:

h(xi) = ti,

Con i = 1, . . . ,n.

Interpolazione esatta (segue)

L’approccio con funzioni a base radiale consiste nel ricercare la funzione h(x) come combinazione lineare di n funzioni, φj(x), che dipendono dalla distanza (in genere euclidea) di x dall’origine o da un centro μj.

La forma di tali funzioni è la seguente:

φj(x) = φ(|| x – μj ||)
con j = 1, . . . ,n

Interpolazione esatta (segue)

E’ importante sottolineare che:

φ è una funzione, in genere, non lineare.
Una scelta tipica di tali funzioni è la gaussiana φ(x)=exp(-x2/2σ2)

|| x – μj || è, in genere, la distanza euclidea di x da un centro μj.

Interpolazione esatta (segue)

Dunque h(x) avrà la forma:

h(x) =∑j=1…n wj φj(x)

Il centro della funzione j-esima, nel caso di interpolazione esatta viene scelto uguale
al vettore di input j-esimo, cioè

μj = xj .

Interpolazione esatta (segue)

Ponendo:
φij = φj (xi)

la condizione di interpolazione prima imposta, cioè

h(xi) = ti

può essere espressa, come:

j=1…n wjφij = ti con i=1,2, …,n

Interpolazione esatta (segue)


Interpolazione esatta (segue)

Dove:

  • t e w sono vettori di dimensione n e;
  • φ è matrice quadrata n × n con φij corrispondente al valore di φj(x);

calcolato nel punto i-simo del Training Set.

Quindi sulla colonna j di φ ci sono i valori di φj(x) calcolati per tutti i punti del TS.

Interpolazione esatta (segue)

Importante

Una volta scelto il tipo di funzione di base φ da utilizzare,
il problema dell’interpolazione esatta si riduce alla stima
dei valori del vettore w.

Interpolazione esatta (segue)

Allora dalla formula

φ wT=t

Se φ è invertibile, si deduce che:

wT-1t

Quindi per la i-esima componente di w risulta che:

wi = ∑j=1..n-1)ij tj con i = 1, . . . ,n

Ovviamente è necessario verificare che per il tipo di funzione di base scelta l’inverso della matrice φ esista!

Interpolazione esatta (segue)

Il caso di un mapping da un insieme multi-dimensione ad uno monodimensionale può essere facilmente esteso al caso di un mapping fra due insiemi multi-dimensionali.

Si consideri, allora, un mapping da uno spazio input d-dimensionale X ⊆ Rd ad uno spazio target c-dimensionale Y ⊆Rc:

f : x ∈ X → y=f(x) ∈ Y

Interpolazione esatta (segue)

In tal caso ogni vettore di input xi dovrà essere mappato esattamente in un vettore di output ti di componenti ti1, ti2, . . . , tic.

Per cui l’equazione abbiamo:

hk(xi) = tik con i = 1, . . . ,n e k=1,2, …,c

dove hk(xi) è ottenuta sempre come combinazione lineare di funzioni a base radiale:

hk(x) =∑j=1…n wkjφj(x)

Interpolazione esatta (segue)

La condizione

hk(xi) = tik

diventa

j=1…n wkjφj(xi)= tik

con i = 1, . . . ,n e k=1,2, …,c

Che in forma matriciale compatta possiamo scrivere come

φWT=T

Interpolazione esatta (segue)


Interpolazione esatta (segue)

Quindi:

  • φ è una matrice nXn di valori conosciuti (una volta fissato il training set e le funzioni a base radiale).
  • W è una matrice cXn di coefficienti da determinare.
  • T è una matrice nXc dove la la j-sima riga di T corrisponde a tj.

Anche in questo caso, allora, se φ è invertibile, abbiamo

WT= φ-1T

Prossima lezione

Sulla base di quanto detto nella prossima lezione introdurremo:

  • Le reti neurali RBF
  • Contenuti protetti da Creative Commons
  • Feed RSS
  • Condividi su FriendFeed
  • Condividi su Facebook
  • Segnala su Twitter
  • Condividi su LinkedIn
Progetto "Campus Virtuale" dell'Università degli Studi di Napoli Federico II, realizzato con il cofinanziamento dell'Unione europea. Asse V - Società dell'informazione - Obiettivo Operativo 5.1 e-Government ed e-Inclusion