Massimo Brescia » 27.Tecnologie di indagine scientifica in Astrofisica - parte quarta

SVM Classification

I modelli SVM furono originariamente definiti per la classificazione di classi di oggetti lineramente separabili. Per ogni gruppo di oggetti divisi in due classi una SVM identifica l’iperpiano avente il massimo margine di separazione, nella figura a destra potete vedere come la linea verde non separa le due classi, la linea blu le separa ma con un piccolo margine mentre la linea rossa massimizza la distanza delle due classi.

Nella seconda figura l’iperpiano H1 definisce il bordo della classe i cui oggetti sono rappresentati dai “+1″ mentre l’iperpiano H2 quello degli oggetti rappresentati dai “-1″.

Potete notare che due oggetti della classe “+1″ servono a definire H1 (sono quelli cerchiati) e ne servono tre della classe “-1″ per definire H2; questi oggetti vengono chiamati “support vectors”, quindi il nostro problema di identificare la miglior separazione tra le due classi è risolto individuando i vettori di supporto che determinano il massimo margine tra i due iperpiani.

SVM Classification

Ovviamente le SVM possono essere usate per separare classi che non potrebbero essere separate con un classificatore lineare, altrimenti la loro applicazione a casi di reale interesse non sarebbe possibile. In questi casi le coordinate degli oggetti sono mappate in uno spazio detto “feature space” utilizzando funzioni non lineare, chiamate “feature function” Φ. Il feature space è uno spazio fortemente multidimensionale in cui le due classi possono essere separate con un classificatore lineare.

Quindi lo spazio iniziale viene rimappato nel nuovo spazio, a questo punto viene identificato il classificatore che poi viene riportato nello spazio iniziale, come illustrato in figura.

SVM Classification

La funzione Φ combina quindi lo spazio iniziale (le caratteristiche originali degli oggetti) nello spazio delle features che potrebbe in linea di principio avere anche dimensione infinita. A causa del fatto che questo spazio ha molte dimensioni non sarebbe pratico utilizzare una funzione generica per trovare l’iperpiano di separazione, quindi vengono usate delle funzioni dette “kernel” e si identifica la funzione Φ tramite una combinazione di funzioni di kernel.
L’implementazione più famosa delle SVM (libSVM) usa quattro possibili kernel:

• Lineare:

• Polinomiale:

• RBF (radial basis function):

• Sigmoidale:

SVM Toy

Questo è una semplicissima applicazione sviluppato dai creatori delle libSVM: Chih-Wei Hsu, Chih-Chung Chang e Chih-Jen Lin che permette di illustrare il funzionamento delle libSVM in maniera forse più chiara, premendo col mouse si tracciano dei punti sullo schermo, premendo su change si cambia la classe (ed il colore dei punti relativo) infine premendo su run una semplice SVM attribusce al piano l’appartenenza alle varie classi mostrandole colorate in maniera diversa.

SVM Classificazione

Per mostrare la capacità delle SVM di creare classificatori anche nel caso non lineare e valutare l’importanza della scelta del kernel giusto consideriamo come esempio la tabella qui a fianco, è un piccolissimo dataset di 15 oggetti con due parametri appartenenti a due classi chiamante +1 e -1, nelle figure che seguiranno la classe +1 sarà rappresentata da un + mentre la classe -1 da un punto nero. L’iperpiano trovato dalle SVM sarà rappresentato da una linea continua I vettori di supporto saranno cerchiati per individuarli meglio e il margine che individuano sarà tracciato con una linea tratteggiata.

SVM Classificazione

Come si può vedere, il kernel lineare non è assolutamente adatto a questo esempio mentre gli altri 4 riescono a discriminare le due classi perfettamente ma possiamo notare come le soluzioni siano molto differenti l’una dall’altra, è importante quindi avere un set di prova che permetta di scegliere la migliore configurazione in modo da evitare quello che si chiama usualmente “over-fitting” che significa che l’algoritmo si adatta molto ai dati con cui è addestrato ma non riesce poi a generalizzare il problema.
Si può notare inoltre che eccezion fatta per il kernel lineare parliamo non di funzioni semplici ma famiglie di funzioni, che dipendono da un certo numero di parametri (detti usualmente “hyper-parameters”) questo se da un lato ci dà maggiori speranze di individuare la soluzione ottimale dall’altro complica il nostro lavoro di ricerca dal momento che dobbiamo cercare il kernel con i migliori parametri.

SVM Regression

Le Support vector machines, che come detto nascono per risolvere problemi di classificazione, furono estese da Vapnik al problema della regressione.
Il set di parametri con cui si addestra la rete è utilizzato per ottenere un modello di regressione che può essere rappresentato come un ipertubo di raggio e, che sarà quindi un hyper-parametro, “fittato” ai dati. Nel caso ideale, la regressione tramite le SVM trova una funzione che mappa tutti i dati di input con una deviazione massima pari proprio ad e, dal valore del “target”. In questo caso tutti i punti con cui si addestrano le SVM si trovano all’interno del tubo di regressione. Comunque, usualmente non è possibile “fittare” tutti gli oggetti all’interno del tubo e avere ancora un modello che abbia un qualche significato quindi nel caso generale le SVM in modalità di regressione considerano zero l’errore per gli oggetti all’interno del tubo mentre quelli all’esterno hanno un errore che dipende dalla distanza dal margine del tubo.

SVM Regression

Una funzione lineare è chiaramente di praticamente nessuna utilità quindi non lo considereremo negli esempi che seguiranno, ancora una volta andiamo a prendere un semplice dataset, gli oggetti saranno indicati con un +, i vettori di supporto saranno cerchiati, l’iperpiano delle SVM sarà rappresentato con una linea continua e i margini del tubo di regressione con una linea tratteggiata.
Immaginiamo di aver fatto vari addestramenti che hanno indicato che un kernel polinomiale di secondo grado è quello che ci offre un buon modello e vediamo l’influenza del parametro e sul risultato. Quando il parametro è troppo piccolo il diametro del tubo è ovviamente piccolo forzando tutti gli oggetti ad essere al di fuori del tubo.
Questo vorrà dire che avranno un grosso errore e saranno quindi male interpretati.

PPS – Probabilistic Principal Surfaces

Questo metodo appartiene alla famiglia dei cosiddetti metodi delle variabili latenti, partendo dal metodo classico dell’analisi delle componenti principali si nota facilmente che le PCA hanno un limite: la riduzione lineare non è sempre efficace come si può vedere nel semplice esempio dove vediamo come la stessa aggregazione di punti viene vista da una PCA, da varie PCA e con una soluzione non lineare.

Le PPS in prima istanza si preoccupano di fornire una soluzione a questo problema.
In pratica una PPS viene addestrata a riconoscere le migliori funzioni di proiezione dallo spazio N-dimensionale dei parametri ad una superfice sferica in uno spazio tridimensionale; questa superficie è ricoperta da una griglia di variabili latenti, ovvero punti, ognuno dei quali rappresenta il picco di una gaussiana nello spazio N-parametrico. Questo permette di visualizzare il tutto con un grafico tridimensionale indipendentemente dal numero di parametri iniziali e in questo modo l’essere umano può iniziare a controllare l’esistenza o meno di strutture, strutture che così riesce a visualizzare ma che non riuscirebbe neanche ad immaginare senza fare questo lavoro.

PPS – Algoritmo

(a) Rappresentazione schematica della varietà sferica nello spazio latente tridimensionale R3, (b) la stessa varietà distorta nello spazio dei parametri RD con i punti associati ai dati, (c) la proiezione della distribuzione dei punti sulla superficie della varietà sferica sullo spazio latente R3.

Una questione interessante è la stima dell’incidenza di ogni parametro dei dati di ingresso sulle variabili latenti che aiuta a comprendere la relazione tra il parametro e i cluster trovati. L’incidenza dei parametri è calcolata valutando la densità di probabilita delle componenti dei vettori di ingresso rispetto a ogni variabile latente. Più precisamente, sia il set dei dati di ingresso D-dimensionali, cioè , e  sia il set delle variabili latenti con .

NEC – Negentropy Clustering

Utilizzando un algortimo come le PPS per fare preclustering si ottiene un numero di cluster prefissato; in un primo stadio questo numero conviene venga tenuto alto, essendo ovviamente meglio avere un cluster ridondante, magari composto da uno o due elementi piuttosto che perderne uno fondamentale, il passo successivo è quello di dare il risultato così ottenuto in pasto un algoritmo che accorpi questi cluster, in questa lezione parleremo del NEC (Clustering Negentropico). Cos’è la Negentropia? E’ una quantità che si definisce in teoria dei segnali come la distanza dalla normalità . Il segnale viene detto normale se è una gaussiana. La Negentropia è nulla se il segnale è normale, altrimenti ha un valore maggiore di zero.
La Negentropia è una quantità invariante per ogni cambio di coordinate lineare. In pratica una NEC altro non è che una tecnica agglomerativa che serve per passare dalla clusterizzazione fatta ad esempio con le PPS a quella desiderata, usualmente si ottiene un dendogramma.

NEC – Principio

Ogni strato del dendogramma rappresenta uno dei cluster iniziali che al variare di un valore di soglia vengono mano a mano agglomerati. Può essere utile visualizzarlo in un’altra maniera disponendo da sinistra a destra i cluster che si accorpano con valori di soglia diverse (quelli a sinistra si accorperanno con bassi valori della soglia, quelli a destra con alti valori della soglia). La scelta di quale grado di accorpamento considerare resta all’utente e dipende dallo scopo della sua ricerca. Un esempio di possibile scelta è quello della ricerca dei plateau; graficando il numero di cluster in funzione del valore della soglia, la curva decrescente ottenuta potrebbe avere dei plateau, il cui significato è evidente: in quelle zone i cluster risultano ben separati e quindi è probabile che la classificazione così fatta abbia un forte significato. A questo punto abbiamo delle divisioni, però va ancora capito cosa rappresentino e qui entra in gioco la nostra conoscenza del campione che abbiamo utilizzato per addestrare la rete; difatti controllando gli oggetti di cui abbiamo informazioni ricavate per altre vie dove si dispongono possiamo dare un senso fisico ai vari cluster.

Redshift Fotometrici

Il metodo ottiene risultati migliori di quelli apparsi in letteratura finora con una dispersione con una sigma robusta pari a 0.02 misurata dalla dispersione attorno allo zero della variabile scarto z_phot-z_spec

Classification of Active Galactic Nuclei

Il secondo esempio di applicazione scientifica che vi presento riguarda un problema di classificazione approcciato con MLP e SVM

Le classificazioni delle galssie sono basate su informazioni morfologiche che solo in parte riflettono la differenza fisica tra differenti classi di oggetti.
Un chiaro esempio è rappresentato dalle galassie che contengono AGN, che non rientrano in nessuna classificazione morfologica (fatte salve alcune lievi correlazioni). Approcciare il problema dal punto di vista del data-mining con metodi di machine learning quindi può risultare molto efficace.
Lo scopo del lavoro che verrà di seguito brevemente illustrato è trovare una maniera di scegliere le galassie che ospitano nuclei galattici attivi utilizzando solo parametri fotometrici e impiegando metodi supervisionati di classificazione, in particolare MLP e SVM su di una base di conoscenza ricavata dai parametri spettroscopici.

Photometric parameters

Photometric parameters used for training of the NNs and SVMs

Fonte: Tesi Stefano Cavuoti
Fonte: Tesi Stefano Cavuoti
Fonte: Gennaro Sorrentino, The environment of active galaxies in the SDSS-DR4

SVM

Come abbiamo detto esistono molte implementazioni delle SVM questo lavoro fa uso delle LIBSVM e di una delle implementazioni del motore di classificazione detto C-SVC il kernel scelto è l’RBF quindi va scelta la configurazione migliore per due Hyper-Parametri, C, parametro del C-SVC e il gamma delle RBF, purtroppo questi due parametri non sono sceglibili a priori quindi ho utilizzato il sistema di tuning proposto dagli autori stessi delle libSVM, che consiste nel fare girare vari esperimenti in una griglia facendo variare e gamma di un fattore quattro e partendo per C da 2 elevato alla meno 5 fino a 2 elevato alla 15 mentre gamma da 2 alla meno 15 fino a 2 elevato alla 23. Graficando l’efficienza di questi 110 processi (che è stato possibile eseguire grazie all’uso della GRID del progetto SCoPE) ho ottenuto delle curve di livello che permettono in una seconda fase di individuare le zone dove i risultati migliori giacciono e raffinare la ricerca, per l’addestramento è stato utilizzato inoltre un metodo di cross validation detto n-fold usando 5 folders.

Ricerca di Candidati Quasar

Il terzo e ultimo esempio che vi propongo riguarda un problema di clustering
Quest’applicazione è volta all’individuazione di candidati quasar mediante parametri fotometrici fa uso di PPS e NEC in particolare prima individua dei precluster tramite le PPS, poi aggrega questi cluster tramite le NEC utilizzando le informazioni disponibili sugli oggetti del dataset per scegliere la migliore clusterizzazione.
Per fare questo prima di tutto diciamo che un cluster verrà chiamato di successo se la frazione di quasar confermati al suo interno è superiore ad una certa soglia
A questo punto vogliamo massimizzare il rapporto tra il numero di cluster di successo e il numero di cluster totali ottenuto (NSR,normalized success ratio).