Roberto Prevete » 13.Interpretazione output di una rete neural feed-forward

Introduzione

In questa lezione faremo vedere:

• Una interpretazione dell’output della rete.

• Alcuni esempi per chiarire tale interpretazione.

Interpretazione output di una rete neurale feed-forward

Si può dimostrare che addestrare la rete andando a minimizzare la funzione di errore

E=∑_n∑_k[y_k(xⁿ,w)-t_kⁿ]²/2

corrisponde ad avere un valore di output dei nodi di output della rete, dato un pattern x, interpretabile come media condizionata su x dei vettori target del training set, cioè

y_k(x,w*)=<t_k/x>=∫ t_k p(t_k/x) dt_k

Dove w* è il valore dei pesi (e dei bias) al termine del processo di apprendimento.

Interpretazione output di una rete neurale feed-forward (segue)

L’affermazione precedente è vera sotto le seguenti due ipotesi:

• Il training set deve essere sufficientemente grande da poter approssimare un insieme infinito, cioè il numero di punti N→+∞.

• La funzione realizzata dalla rete neurale y_k(x,w) deve essere sufficientemente generale, cioè il numero di nodi hidden deve essere sufficientemente grande.

Dimostrazione dell’interpretazione

Sotto le ipotesi fatte, l’errore può essere scritto come:

E = lim_N→+∞ ∑ _n=1..N ∑ _k=1..d [y_k(xⁿ,w) -t_kⁿ]²/2N

Al limite di N che tende all’infinito, allora tale formula può essere riscritta nel continuo come

E=(1/2) k=∑ _k=1..d ∫ ∫ y_k(x,w) -t_k]² p(tk/x) p(x)dt_kdx

Dimostrazione dell’interpretazione (segue)

Se Definiamo

• <t_k/x>=∫ t_k p(t_k/x) dt_k
• <t²k/x>=∫ t²_k p(t_k/x) dt_k

Possiamo scrivere [y_k -t_k]² come

• [y_k -t_k]² = [y_k - <t_k/x>+<t_k/x>-t_k]²
• [y_k -t_k]² =[y_k - <t_k/x>]²+[<t_k/x>-t_k]²+ 2[y_k - <t_k/x>][<t_k/x>-t_k]

Dimostrazione dell’interpretazione (segue)

Dalla formula

[y_k -t_k]² =[yⁿ_k - <t_k/x>]2+[<t_k/x>-t_k]²+ 2[yⁿ_k - <t_k/x>][<t_k/x>-t_k]

Possiamo, allora, dedurre

E=(1/2)∑ _k=1..d ∫∑y_k – <t_k/x>]² p(x) dx+(1/2)∑ _k=1..d ∫[<t²_k/x>- <t_k/x>²] p(x) dx

Osserviamo che il secondo termine è indipendente dai parametri della rete.

Quindi minimizzare E significa rendere minimo il primo termine, il quale diventerà nullo se e solo se y_k – <t_k/x>=0.

Allora il vettore di pesi w* che rende minimo E sarà tale che:

y_k(x,w*)= <t_k/x>

Un esempio in matlab

Facciamo un esempio in matlab.

Mostreremo:

• Un esempio di training set.
• Un esempio di implementazione in matlab della propagazione in avanti della rete.
• Un esempio di implementazione in matlab del processo di apprendimento.
• Esempi della risposta della rete.

Un esempio in matlab: Creazione, forward e training

Supponiamo ora di creare una rete neurale a due strati di pesi e di addestrala su tale training set.

A tal fine realizziamo le seguenti funzioni in codice matalb:

• function [W1 b1 W2 b2]=newML(d,m,c). Una funzione per creare la rete con pesi e bias inizialmente scelti random.

• function [y z]=forwardProp(W1,b1,W2,b2,x). Una funzione per la propagazione in avanti.

• function [W1 b1 W2 b2 err]=learningByBackProp(W1,b1,W2,b2,XTS,YTS,maxC,eta). Una funzione per la fase di apprendimento.

Più nel dettaglio …

Un esempio in matlab: Creazione della rete

Codice matlab per la creazione della rete

function [W1 b1 W2 b2]=newML(d,m,c)


W1=rand(m,d)*2-1;
b1=rand(1,m)*2-1;
W2=rand(c,m)*2-1;
b2=rand(1,c)*2-1;

W1 e b1 sono i pesi e i bias del primo strato.

W2 e be sono i pesi e i bias del secondo strato.

d, m e c sono la dimensione dell’input, il numero di nodi interni e il numero di nodi di output, rispettivamente.

Un esempio in matlab: forward-propagation

Codice matlab per la propagazione in avanti.

function [y z]=forwardProp(W1,b1,W2,b2,x)
% x is a m-by-n matrix
[N d]=size(x);
m=size(W1,1);
c=size(W2,1);
z=zeros(N,m);
y=zeros(N,c);
for n=1:N


z(n,:)=x(n,:)*W1';
z(n,:)=z(n,:)+b1;
z(n,:)=sigmoid(z(n,:));
y(n,:)=z(n,:)*W2';
y(n,:)=y(n,:)+b2;


end

y e z sono i valori di output dei nodi di output e dei nodi interni, rispettivamente.

Un esempio in matlab: learning – Codice matlab per la fase di apprendimento (1)

---