Roberto Prevete » 6.Reti Neurali feed-forward

Introduzione

Nella lezione precedentemente abbiamo visto che un problema di classificazione può essere visto in termini di un insieme finito di funzioni discriminanti.

Tale problema, allora, si riduce ad un problema di approssimazione di funzione.

In generale, allora, possiamo porci il problema di approssimare la funzione

f: x∈R^d → f(x) ∈ R^c

tramite una funzione parametrizzata,

g : w∈R^p, x∈Rd → g(x;w) ∈ R^c

dove w è un vettore di p parametri.

Vogliamo, quindi, modellare la funzione f(x) tramite g(x;w).

Approssimare una funzione

A tale scopo è n ecessario:

Verificare che effettivamente g(x;w) abbia la capacità di rappresentare f(x) .

Una volta che si è appurato che g(x;w) ha la capacità di rappresentare f(x) è necessario trovare un procedimento che ci permetta di trovare il “corretto” valore w= w^* per approssimare f(x).

A tale fine, in genere, abbiamo un insieme di esempio, TS, di coppie di valori (x¹,f(x¹)=t¹), (x²,f(x²)=t²), …, (xⁿ,f(xⁿ)=tⁿ) e la determinazione di w corrisponde a determinare il valore w= w^* tale che g(x¹,w^*)=t¹, g(x¹,w^*)=t¹,…, g(xⁿ,w^*)=tⁿ.

Il processo tramite il quale sono determinati i parametri w* è detto learning o training, e, per tale motivo, TS è detto training set.

Approssimare una funzione tramite reti neurali

Per risolvere un problema di approssimazione di una funzione tramite reti neurali dobbiamo, allora:

• Verificare che esistono modelli di reti neurali che realizzano funzioni g(x;w) da uno spazio d-dimensionale ad uno spazio c-dimensionale.

• Capire quale è la capacità di rappresentazione delle funzioni realizzate da tali modelli.

• Determinare un processo tramite il quale sono determinati i parametri della rete.

Una definizione di una generica rete neurale

Possiamo caratterizzare molti modelli di rete neurale tramite le seguenti proprietà:

• Un insieme finito di N elementi, detti nodi, neuroni o unità, S={1,2, …, N}.

• Un insieme finito di connessioni (in genere monodirezionali) C, ciascuna che connette un nodo k ad un nodo h. A ciascuna connessione che va da k ad h è associata un peso w_hk .

• Un insieme finito di d elementi, detti input della rete (da cui, in genere, possono solo partire connessioni).

• Ciascun nodo h è caratterizzato da:
  • un valore di input i_h, un valore di attivazione ah, un valore di output z_h e una valore di bias (o soglia) b_h.
  • una funzione di input s_h, una funzione di attivazione gh e una funzione di output f_h.

Reti Feed-forward

Allora, l’output di un nodo h di una rete feed-forward è dato da:

z_h= f_h (∑_k w_hk*z_k + b_h)

Dove la somma va su tutti gli input e i nodi k che inviano connessioni ad h.

(In questo caso abbiamo supposto che la funzione di attivazione sia pari all’identità.

Reti Feed-Forward: Forward-propagation

Forward-propagation

Per un dato insieme di valori dell’input della rete, successive applicazioni di

z_h= f_h (∑_k w_hk^*z_k + b_h)

permettono l’attivazione di tutti i nodi della rete, inclusi i nodi di output.

Questo processo puo’ essere visto come una propagazione in avanti (forward propagation) di segnali attraverso la rete (secondo l’ordine topologico stabilito dalle connessioni).

Osserviamo che il parametro di bias può essere interpretato come se ci fosse un ulteriore nodo, sempre con valore di output pari a 1, che invia una connessioni ai nodi h, quindi possiamo scrivere:

z_h= f_h (∑_k w_hk^*z_k )

dove la somma, stavolta, è anche estesa al parametro di bias ponendo w_h0=b_h.

Reti Feed-forward

Importante !

Tali reti, allora, hanno la proprietà che le attivazioni dei nodi di output possono essere espresse come funzioni deterministiche degli input e così l’intera rete rappresenta un mapping non lineare tra uno spazio d-dimensionale ad uno spazio c-dimensionale con parametri dati da i pesi della rete.

Reti Feed-Forward Multi-Strato (segue)

Importante !

Quindi una rete neurale Feed-Forward è esprimibile come una funzione parametrizzata g(x;w) che ha come dominio uno spazio d-dimensionale , come codominio uno spazio c-dimensionale e come parametri tutti i pesi della rete più i bias dei nodi.

Reti Feed-Forward Multi-Strato (segue)

Una osservazione (1)

Notiamo che se le funzioni di output di tutti i nodi interni sono funzioni lineari allora esiste sempre una rete neurale equivalente senza nodi interni.

Supponendo, infatti, che:

1. la funzione di attivazione sia pari all’identità per tutti i nodi della rete e,
2. tutti i nodi interni abbiano la medesima funzione lineare f di output, mentre i nodi di output abbiano come funzione di output la funzione non lineare f₁,

possiamo scrivere:

z_h= f (∑_k w’_hkx_k ) (con f lineare), per i nodi interni

y_m= f₁(∑_h w”_mhz_h ) = f₁(∑_h w”_mh f(∑_k w’_hkx_k ))= f₁(∑_h w”_mh ∑_k f( w’_hk)x_k )),
per i nodi di output

Reti Feed-Forward Multi-Strato (segue)

Una osservazione (2)

Quindi:

y_m= f₁(∑_h∑_k w”_mh f( w’_hk)x_k)= f₁(∑_kx_k∗∑_h w”_mh f( w’_hk))

y_m= f₁(∑_k w_mk x_k)

avendo posto w_mk=∑h w”_mh f(w’_hk).

In questo modo possiamo ottenere una rete equivalente senza nodi interni.

Reti Feed-Forward Multi-Strato (segue)

Importante

Questo significa che da ora in avanti considereremo sempre reti neurali con nodi interni con funzione di output (o funzione di attivazione) non lineare..

Inoltre …
Da ora in avanti supporremo sempre che una tra la funzione di attivazione e la funzione di output coincida con la funzione identità.

Funzioni di output: relazione tra sigmoide e tangh

Relazione tra sigmoide e tanh

Osserviamo che s(x) differisce da tanh(x) solo per una trasformazione lineare:

2s(2x)-1=tangh(x)

infatti

2s(2x)-1= 2/(1+ e^-2x) -1 =
[2-(1+ e^-2x)]/(1+ e^-2x) =
(1- e^-2x)/ (1+ e^-2x) =
e^x (1- e^-2x)/ e^x (1+ e^-2x) =
(e^x – e^-x)/ (e^x + e^-x) = tanh(x)

quindi una rete neurale con funzione di attivazione pari a s(x) è equivalente a una rete neurale con funzione di attivazione pari a tanh(x) ma con pesi e bias differenti.

Prossime lezioni

Nella prossime lezioni, vedremo:

• La capacità rappresentativa di reti neurali con nodi con funzione di output a soglia.

• La capacità rappresentativa di reti neurali con nodi con funzione di output di tipo sigmoidale.