Vai alla Home Page About me Courseware Federica Living Library Federica Federica Podstudio Virtual Campus 3D Le Miniguide all'orientamento Gli eBook di Federica La Corte in Rete
 
 
Il Corso Le lezioni del Corso La Cattedra
 
Materiali di approfondimento Risorse Web Il Podcast di questa lezione

Roberto Prevete » 18.Addestramento di una rete RBF


Introduzione

Nella presente lezione descriveremo:

  • Come calcolare i pesi del secondo strato di una rete RBF.
  • Come calcolare i pesi del secondo strato di una rete RBF, con una funzione di errore con un Termine di regolarizzazione

Training del secondo strato di pesi di una rete RBF

Ritorniamo al problema di addestrare il secondo strato di pesi di una rete RBF, che corrisponde al caso di una rete con un solo strato di pesi, con m nodi di input e c nodi di output.

L’errore somma dei quadrati sugli n vettori di training può essere scritto
nel seguente modo:

E =(1/2)∑h=1…nk=1…c [∑j=0...m wkj φhj – thk]2

Per calcolare il minimo di tale errore calcoliamo la derivata dell’errore rispetto a wkj e imponiamo che sia uguale a 0:

∂E/∂wkj =∑h=1…n [∑j'=0...m wkj' φhj' – thk] φhj=0

Training del secondo strato di pesi di una rete RBF (segue)

Possiamo scrivere che:

h=1…n [∑j'=0...n wkj' φhj' – thk] φhj=0

Se indichiamo con wk la k-sima riga di W e con _h la h-sima riga di _, si ottiene
h=1…n[ φh (wk)T φhj – thk φhj] =0

Se indichiamo con φj la j-sima colonna di φ e con Tk la k-sima colonna di T, si ottiene

h=1…n [ φh (wk)T φhj – thk φhj]
=∑h=1…n φh (wk)Tφhj – ∑h=1…n thkφhj =(φj)TΦ(wk)T-(φj)T Tk

Training del secondo strato di pesi di una rete RBF (segue)

E quindi

j)Tφ(wk)T-(φj)T Tk=0 per j=0,1, …,m e k=1,2, ..c

In forma compatta abbiamo:

Tφ)WTT T

Training del secondo strato di pesi di una rete RBF (segue)

Precisiamo che nella equazione:

Tφ)WTT T:

  • φ ha dimensioni n x m (per semplicità rinominiamo m+1 con m).
  • W ha dimensioni c x m (per semplicità rinominiamo m+1 con m).
  • T ha dimensioni n x c.

Ricordo che:

  • φij è il valore di φj(x) calcolato nel punto i-simo del TS,
  • wkj è il peso associato alla connessione che va dal j-simo nodo interno al k-simo nodo di output ed, infine,
  • la h-sima riga di T corrisponde al h-simo valore target th .

Training del secondo strato di pesi di una rete RBF (segue)

Inoltre, l’equazione:

Tφ)WTT T:

è detto sistema di equazioni normali.

La soluzione di tale sistema è:

WT=(φTφ)-1T T

Se esiste l’inversa di (φTφ)

La matrice (φTφ)-1T viene spesso indicata con il simbolo φ e è chiamata pseudo-inversa di φ.

Per cui è possibile riscrivere l’equazione precedente nel seguente modo:

WT=φ T

Training del secondo strato di pesi di una rete RBF (segue)

Una soluzione diretta del sistema di equazioni (φTφ)WTT T non è numericamente opportuna per via della possibile singolarità della matrice (φTφ).

Di solito viene utilizzata la tecnica della Singular Value Decomposition (SVD).

Singular Value Decomposition (SVD)

Grazie alla SVD è possibile decomporre la matrice φ nel seguente modo:

φ= U∑VT

dove

  • U è una matrice n x n costituita da n vettori ortonormali, cioè U è ortonormale.
  • ∑ è una matrice n x m con r ≤ m valori diversi da zero (detti valori singolari σi, in cui σi =√λi dove _i sono gli r autovalori distinti e maggiore di zero della matrice φTφ sulla diagonale principale e zero altrove,
  • V è una matrice m x m costituita da m vettori ortonormali, cioè U è ortonormale.

Singular Value Decomposition (SVD) (segue)

Le matrici U e V, quindi, godono delle seguenti proprietà:

UTU = UUT = I e VTV = VVT = I

dove I è la matrice identità.

Nel seguito indicheremo con ∑-1 l’inversa modificata di ∑.

Tale matrice ha sulla diagonale i reciproci dei valori singolari, quando questi sono diversi da zero, ed ha dimensioni m x n.

Notiamo che per ∑-1 è vero la seguente: ∑-1 (∑T)-1 T = ∑-1

Singular Value Decomposition (SVD) (segue)

Calcoliamo, ora, la soluzione dell’equazione (23):

WT=(φTφ)-1T T

Che applicando la SVD si trasforma in

WT …. = ((U∑VT)T U∑VT)-1 (U∑VT) T T
………. = (V∑TUTU∑VT)-1 (V∑ TU T) T
………. = (V∑TVT)-1 V∑ TU T T
………. = V∑-1(∑T)-1 VTV∑ TU T T
………. = V∑-1(∑T)-1TU T T
………. = V∑-1U T T

quindi

WT = V∑-1U T T

Matrice dei pesi di una rete RBF

Quindi, per trovare la matrice dei pesi WT della rete RBF si può procedere nel seguente modo:

  • Decomporre la matrice φ con la SVD in φ = U∑VT;
  • Calcolare ∑-1 l’inversa modificata di ∑.
  • Tale matrice, ricordo, ha sulla diagonale i reciproci dei valori singolari σi presenti sulla diagonale di ∑, quando questi sono diversi da zero, mentre tutti gli altri valori sono nulli ed ha dimensioni m x n.
  • Calcolare la matrice WT come prodotto tra le matrici V∑-1U T T

Soluzione ai minimi quadrati con regolarizzazione

Illustreremo come calcolare i pesi del secondo strato di pesi della rete RBF quando aggiungiamo alla funzione di errore somma dei quadrati un termine di regolarizzazione del tipo weigth-decay.

La formula della funzione di errore somma dei quadrati, quando viene aggiunto il termine di regolarizzazione, diventa:

E =(1/2)∑h=1…nk=1…c [∑j=0...n wkj φhj – thk]2 +(ν/2)∑k=1…c j=0…n (wkj)2

Soluzione ai minimi quadrati con regolarizzazione (segue)

Per minimizzare tale funzione di errore calcoliamone la derivata e
imponiamo che sia uguale a zero.

Otteniamo la seguente espressione:

Tφ)WTφT T +ν WT=0

risolvendo rispetto a WT otteniamo:

WT =(φTφ+νI)-1φT T

Soluzione ai minimi quadrati con regolarizzazione (segue)

Decomponendo la matrice φ con la SVD in U_VT si ottiene

WT = ((U∑VT)T U∑VT + νI)-1(U∑VT)TT

e tenendo conto dell’ortogonalità della matrice U

WT = (V∑T∑VT + νI)-1(U∑VT)TT

Soluzione ai minimi quadrati con regolarizzazione (segue)

Sfortunatamente nell’espressione

(V∑T∑VT + νI)-1(U∑VT)TT

sfortunatamente la componente (V∑T∑VT + νI) di tale espressione non può essere ulteriormente semplificata.

Una soluzione al problema consiste nell’aggiungervi un termine che ovviamente modificherà anche l’espressione del termine di regolarizzazione, cioè:

WT = (V∑T∑VT + ν VVT)-1(U∑VT)TT

Soluzione ai minimi quadrati con regolarizzazione (segue)

ovvero:

WT = (V(∑T∑ + ν I)VT)-1(U∑VT)TT

e ricordando che l’inversa di una matrice ortonormale è uguale alla sua trasposta:

WT = V(∑T∑ + ν I)-1VTV∑TTUTT

E quindi

V(∑T∑ + ν I)-1TUTT

Soluzione ai minimi quadrati con regolarizzazione (segue)

A questo punto ragioniamo solamente sul termine (∑T∑ + ν I)-1.

Cominciamo con l’osservare che la matrice nXm ∑ ha valori diverso da zero solo sulla diagonale ∑iii, con i=1,2, …m ,

quindi la matrice ∑T∑ è una matrice quadrata nXn con valori non nulli solo sulla diagonale e pari σ2i.

Soluzione ai minimi quadrati con regolarizzazione (segue)

Notiamo adesso che anche νI è una matrice diagonale mxm in cui sulla diagonale vi è sempre ν.

La somma di questa matrice con la precedente da come risultato ancora una matrice diagonale che può essere invertita in modo tale da ottenere una matrice mxm non nulla solo sulla diagonale e con valori pari ai reciproci dei valori sulla diagonale di ∑T∑ + ν I, ovvero:

(∑T∑ + ν I)-1ii =1/(ν+σ2i) con i=1,2, …,m.

Soluzione ai minimi quadrati con regolarizzazione (segue)

Moltiplicando la matrice precedente per ∑T, di dimensione mxn, otteniamo una matrice m x n non nulla solo sulla diagonale e con valori σi/(ν+σ2i).

Iindicando tale matrice con ∑R-1 si ha cioè

( SR-1)iji/(ν+σ2i) con i=j e i=1,2, …,m, e (∑R-1)ij =0 altrimenti.

Otteniamo così

WT = V ∑R-1UTT

Che è analoga alla WT = V∑-1U T T, valida nel caso di assenza di un termine di regolarizzazione.

Notiamo che quest’utlima si riduce alla prima nel caso in cui ν è pari a zero.

Calcolo dei parametri delle funzioni a base radiale

Moltiplicando la matrice precedente per ∑T, di dimensione mxn, otteniamo una matrice m x n non nulla solo sulla diagonale e con valori σi/(ν+σ2i).

Iindicando tale matrice con ∑R-1 si ha cioè

( SR-1)iji/(ν+σ2i) con i=j e i=1,2, …,m, e (∑R-1)ij =0 altrimenti.

Otteniamo così

WT = V ∑R-1UTT

Che è analoga alla WT = V∑-1U T T, valida nel caso di assenza di un termine di regolarizzazione.

Notiamo che quest’utlima si riduce alla prima nel caso in cui ν è pari a zero.

  • Contenuti protetti da Creative Commons
  • Feed RSS
  • Condividi su FriendFeed
  • Condividi su Facebook
  • Segnala su Twitter
  • Condividi su LinkedIn
Progetto "Campus Virtuale" dell'Università degli Studi di Napoli Federico II, realizzato con il cofinanziamento dell'Unione europea. Asse V - Società dell'informazione - Obiettivo Operativo 5.1 e-Government ed e-Inclusion