Home

Federica EU

1/28

Massimo Brescia » 25.Tecnologie di indagine scientifica in Astrofisica - parte seconda

La rappresentazione standard dei dati – Il VO

Cos’è il Virtual Observatory? Il VO è un’iniziativa della comunità astronomica mondiale (IVOA) il cui scopo è permettere un accesso elettronico globale agli archivi astronomici disponibili presso data center sparsi sul pianeta. Inoltre stabilisce standard comuni per la rappresentazione dei dati astronomici e favorisce quindi un accesso omogeneo e a banda larga ai dati, mediante metodi e strumenti di esplorazione ed analisi standardizzati. Innovativo sistema che prende vantaggio dall’esplosione dei dati astronomici. Permette all’utente di interrogare diversi data center in modo trasparente ed uniforme. Data analysis tools (in-situ) e modelli più facilmente accessibili.

Logo IVOA

Virtual Observatory

Permette di fare scienza nuova spostando l’Astronomia oltre l’era della “classica” identificazione di oggetti, combinando tutta l’informazione scientifica disponibile nel mondo: data mining (incremento dell’efficienza osservativa) + identificazione statistica (minore necessità di dati di spettroscopia) Buona comunicazione → linguaggio comune! Definizione ed adozione di standard VO e protocolli all’interno di un’unica alleanza (International Virtual Observatory Alliance – IVOA) EURO-VO: consorzio europeo per

Input per la formalizzazione di standard di rappresentazione dei dati: VOTable, Data Access Layer, Data Model, Uniform Content Descriptors, Web Services;
Uso di standards per garantire l’interoperabilità standard dei servizi sui dati (VOStat, Visivo, Topcat)

Infatti, uno dei problemi annosi è la disponibilità di dati osservativi/simulati in formati differenti e con label non omogenee tra loro.

Vecchio modo di fare astrofisica

Nuovo modo di fare astrofisica – 1

Primo Passo

Nuovo modo di fare astrofisica – 2

Secondo Passo

Nuovo modo di fare astrofisica – 3

Terzo Passo

Tipi di dati astronomici – fits

FITS Flexible Image Transport System è un formato usato per memorizzare, trasmettere e manipolare immagini scientifiche ad alta risoluzione. FITS è il formato più usato in astronomia, progettato proprio per dati scientifici, contenente quindi un header con molte informazioni relative alla calibrazione fotometrica e spaziale, insieme a vari metadati che riportano dettagli astrometrici, condizioni di seeing e atmosferiche, strumento usato etc…

Tipi di dati astronomici – CSV

CSV comma-separated values (abbreviato in CSV) è un formato di file basato su file di testo utilizzato per l’importazione ed esportazione (ad esempio da fogli elettronici o database) di una tabella di dati. Non esiste uno standard formale che lo definisca, ma solo alcune prassi più o meno consolidate. In questo formato, ogni riga della tabella (o record della base dati) è normalmente rappresentata da una linea di testo, che a sua volta è divisa in campi (le singole colonne) separati da un apposito carattere separatore, ciascuno dei quali rappresenta un valore

Fonte: IETF

Tipi di dati astronomici – ASCII

ASCII è l’acronimo di American Standard Code for Information Interchange (ovvero Codice Standard Americano per lo Scambio di Informazioni), pronunciato in inglese askey, mentre in italiano è comunemente pronunciato asci. È un sistema di codifica dei caratteri a 7 bit comunemente utilizzato nei calcolatori, proposto nel 1961, e successivamente accettato come standard dall’ISO (ISO 646). Per non confonderlo con le estensioni a 8 bit proposte successivamente, questo codice viene talvolta riferito come US-ASCII. Alla specifica iniziale basata su codici di 7 bit fecero seguito negli anni molte proposte di estensione ad 8 bit, con lo scopo di raddoppiare il numero di caratteri rappresentabili. Nei PC IBM si fa per l’appunto uso di una di queste estensioni, ormai standard di fatto, chiamata extended ASCII o high ASCII. In questo ASCII esteso, i caratteri aggiunti sono vocali accentate, simboli semigrafici e altri simboli di uso meno comune. I primi 32 caratteri della tabella ASCII a lato non sono stampabili e sono riferiti a caratteri speciali.

Fonte: Clotford

I metadati

Un metadato (dal greco meta- “oltre, dopo” e dal latino datum “informazione” – plurale: data), letteralmente “dato su un (altro) dato”, è l’informazione che descrive un insieme di dati. Un esempio tipico di metadati è costituito dalla scheda del catalogo di una biblioteca, la quale contiene informazioni circa il contenuto e la posizione di un libro, senza riportarne tutto il contenuto. Uno dei più comuni linguaggi basati su metadati è XML. Un documento XML è un file che contiene del codice in un linguaggio basato su XML. In altre parole, un documento XML contiene una serie di tag, attributi e contenuto testuale secondo le regole sintattiche di questo meta-linguaggio. Ad esempioun file di testo con il seguente contenuto è un esempio di documento XML che rappresenta la struttura di un libro: <?xml version=”1.0″ ?> <libro titolo=”Corso di XML”> <capitolo titolo=”Le regole di XML”> <testo>Un documento XML è un documento di testo… </testo> </capitolo> <capitolo titolo=”Schemi XML”> <testo>Un documento XML è valido se …</testo> </capitolo> </libro> Approfondiremo meglio l’uso reale di metadati nella lezione dedicata a tecnologie WEB

Tipi di dati astronomici – VOTable

VOTABLE è il formato standard XML stabilito dalla comunità VO per l’interscambio dei dati. Perchè XML?

include in un singolo documento i dati ed i metadati (dati descrittivi) loro associati
è uno standard molto diffuso
Può essere interpretato – parser
Può essere visualizzato (XSL)
Può essere incapsulato in messaggi

Obiettivi:

Necessità di scambiare dati in forma tabulare provenienti da vari data servers e archivi
Standard contenente i metadati associati interpretabili dalle applicazioni
Standard Flessibile (Table di imagini o URL links)
Interfacciamento con i dati in formato FITS

VOTable – Gerarchia

Una VOTable contiene dei campi detti RESOURCE RESOURCE può contenere:

TABLE;
RESOURCE;
etc etc.

Ad Esempio Molte osservazioni in un file,

ognuna è un RESOURCE.

Ogni osservazione è composta da:

Parametri;
Tabelle di calibrazione;
Tabelle di raw data.

VOTable – Il campo UCD

UCD (Unified Content Descriptor): campo per fornire in modo standard una descrizione circa il contenuto di un certo attributo di una tabella dati.

Le UCD sono tipi semantici. Categorizzano i parametri presenti nella table;
Interpretazione dei contenuti della table;
Forniscono una comparazione di valori;
Data mining;
Possono essere risolti (interpretati) da web service;

VOTable - Il campo UCD

VOTable – FITS

Compatibilità dei data types
Le keywords FITS sono rappresentate come <FIELD>, e.g. RA, DEC
<DATA> possono indirizzare a data set FITS esistenti
Dati FITS o BINARY possono essere remoti o inseriti nei documenti; può applicarsi una compressione/codifica dei dati

Servizi VO (WEB Services)

Allo stato attuale della tecnologia informatica, esistono due grandi risorse nel campo della Computer Science: Il web e le architetture orientate ai servizi. Il primo è una forma di scambio di comunicazione ad alto impatto sociale ed economico Le architetture orientate ai servizi, o “service oriented architecture” (SOA), Le architetture SOA garantiscono una grande flessibilità perché è possibile modificare dinamicamente una parte di esse senza ridefinire l’intero sistema. I Web Service forniscono un punto di raccordo tra queste due tecnologie “Un servizio web è un’interfaccia che descrive una collezione di operazioni, accessibili attraverso una rete mediante messaggistica XML“. offre un’interfaccia software tramite la quale altri sistemi possono interagire con il Web Service stesso. L’interfaccia descrive le operazioni alle quali si accede tramite appositi messaggi trasportati tramite il protocollo HTTP e formattati secondo lo standard XML.

Passaggio da votable a fits

Servizi VO

Tre risorse fondamentali per tutto (o quasi) ciò che concerne il Virtual Observatory: Il sito cardine dell’IVOA, in cui si trovano tutti i documenti ufficiali di specifica degli standard IVOA, è la risorsa ufficiale cui accedere quando si cercano i dettagli su uno specifico standard. http://www.ivoa.net Il libro dell’NVO contiene moltissime informazioni, presentate in modo discorsivo e didattico, e si rivolge sia all’utente/astronomo che allo sviluppatore/sistemista. Infine, un certo numero di documenti, tutorial, software è disponibile sul sito dell’Euro-VO, in maniera molto meno organica e completa dell’NVO book, ma comunque può risultare utile, in particolare la sezione “Technical”.

Schema client server

Esempio Servizi VO – TOPCAT

TOPCAT è un tool visuale e testuale per gestione tabelle di dati. Orientato alla gestione dei dati astronomici (nei vari formati comuni). Offre vari servizi di analisi e grafica: manipolazione tabelle, metadati, grafica n-dimensionale, statistica, analisi etc. Usa un linguaggio basato su Java, con cui nuove tabelle e metadati possono essere definite da archivi remoti e locali per analisi separata o integrata.

Fonte: Star Bris

Conversione tipi di dati – STILTS

STILTS (STIL Tool Set) è un programma a linea di comando per processare dati tabulari. Progettata per archivi astronomici, contiene tools per gestire dati in vari formati (cross-matching, conversione, validazione, manipolazione di tabelle, selezione, estrazione, calcoli statistici e graficazione di metadati. Il pacchetto (freeware) è scritto in Java (platform-invariant) ed è basato su una libreria (STIL, Starlink Tables Infrastructure Library). Fornisce portabilità e supporto per vari formati di dati, processati in modalità streaming, per cui non ha limitazioni sulla dimensione dei dati.

Fonte: Star Bris

La nuova indagine astrofisica

Vincoli della nuova indagine astrofisica

Archivi di dati organizzati in un’infrastruttura unificata (Virtual Observatory); Tools di Data Mining basati su machine learning e algoritmi auto-adattivi; Infrastrutture hardware basate sul calcolo distribuito (High Performance Computing, GRID, CLOUD);

Stele di rosetta

Il processo cognitivo

Il processo d’indagine scientifica richiede la standardizzazione di tecniche, rappresentazione e calcolo commisurati all’output dei nuovi strumenti tecnologici a disposizione dell’Astrofisica

Il processo cognitivo

Tecniche di indagine in AstroFisica – AI

Le tecniche ormai consolidate di AI (Artificial Intelligence) si prestano ad un massiccio impiego nell’indagine astrofisica, basata su metodi di analisi artificiale che emulano le capacità del cervello umano.

L’Intelligenza Artificiale

Marvin Minsky (tesi di dottorato del ‘56): “E’ intelligenza artificiale quel settore dell’informatica che cerca di riprodurre nei computer quel tipo di comportamenti che, quando sono assunti dagli esseri umani, vengono generalmente considerati frutto della loro intelligenza” Intelligenza Artificiale approccio classico cognitivista Rappresenta l’approccio top/down (dall’alto verso il basso) e presuppone che la metodologia base dell’I.A. consista nello studiare i processi mentali umani, formalizzarli e poi riprodurli nel computer con opportuni linguaggi. La ricerca in IA contribuisce allo sviluppo della scienza cognitiva. Intelligenza Artificiale approccio “emergente” L’idea principale che influenza questo approccio, detto anche bottom-up (dal basso verso l’alto), presuppone che il modo piu’ efficace per pervenire all’I.A. sia quello di simulare sistemi in cui l’intelligenza possa emergere spontaneamente in seguito all’interazione del sistema riprodotto artificialmente con un ambiente naturale o simulato.

Reti Neurali – 1

Le reti neurali sono basate sull’architettura parallela del cervello biologico Numero elevatissimo di unità che lavorano in parallelo; Unità fra loro altamente connesse e computazionalmente semplici; Alto grado di connettività; Interazione adattiva fra unità con utilizzo di messaggi (relativamente) semplici; Ad input simili la rete risponde con output simili; Tolleranza agli errori ed al decadimento del segnale; Tolleranza ai guasti (perdita di connessioni o di unità); Capacità di apprendimento in base ad esempi o ad autocorrelazione; Capacità di generalizzare quanto acquisito durante l’apprendimento.

Reti Neurali – 2

Il neurone formale è una schematizzazione del neurone biologico in cui le proprietà funzionali sono descritte da formule matematiche, senza preoccuparsi dei fenomeni elettrici, chimici, termici, biologici che avvengono nella realtà. L’unità elementare di elaborazione di una rete neurale è il neurone artificiale: L’attività di un neurone biologico dipende dall’attivazione di altri neuroni ad esso connessi che viene trasmessa attraverso sinapsi. In modo analogo il valore d’attivazione di un neurone artificiale viene calcolato attraverso una funzione matematica che regola i segnali che arrivano dagli altri neuroni. Nei modelli biologici, I’impulso viene modulato dal tipo e dalla quantità di neurotrasmettitore emesso dalle vescicole pre-sinaptiche: questo fenomeno viene simulato artificialmente con l’introduzione del “peso di connessione” il cui valore permette di trasmettere un segnale da un’unità all’altra con maggiore o minore facilita. il livello di attivazione dell’unità è dato dalla somma del valore dei neuroni circostanti ponderato dal peso delle connessioni.

Reti Neurali – 3

L’architettura di una rete è definita dalle funzioni di trasferimento e apprendimento, dai pattern di connessioni e dal numero di unità. La conoscenza della rete risiede nei pesi che connettono le unità e nelle soglie dinamiche. Le reti Autoassociative quali le reti di Hopfield, sono in grado di riprodurre un pattern appreso in presenza di una forma degradata del pattern stesso: il loro scopo è quello di ricostruire i pattern in qualche modo danneggiati. Reti ad apprendimento con supervisione lo scopo dell’apprendimento è quello di associare input di una classe con output di una classe diversa; la memoria è costituita dall’abilità di rievocare l’output a partire dall’input. Reti ad apprendimento senza supervisione quali le reti di Kohonen: in questo caso ad essere presentati sono solo gli stimoli, mentre le risposte sono decise dalla rete; le risposte sono comunque significative, in quanto la rete riesce a cogliere alcune regolarità della classe di input, catalogandone in qualche modo gli esempi.

Reti Neurali – 4

Addestrare una rete significa presentarle un insieme di esempi e lasciare che la rete si costruisca da sola la conoscenza interna necessaria per svolgere il compito richiesto. In termini matematici si fornisce un insieme di coppie i/o (x,y) e la rete deve trovare i valori delle connessioni W che realizzino la funzione y= f (x). Regole di apprendimento La regola d’apprendimento determina il modo con cui la rete apprende. Per apprendimento si intende una ottimale modificazione delle intensità sinaptiche che permette di fornire una risposta adeguata ai vari stimoli che sono presentati alla rete. Poichè l’attivazione di un’unità è determinata dalla somma di questi segnali, diventa cruciale, ai fini dell’apprendimento, il peso di connessione: tutte le regole d’apprendimento operano sui pesi di connessione, modificandoli. Regola di Hebb se un neurone di entrata ed uno in uscita sono attivati contemporaneamente per un certo tempo, aumenta la facilità di trasmissione del segnale stesso fra i due neuroni. In altri termini: si incrementa il valore del peso di connessione fra i due neuroni; La back propagation Separabilità lineare attraverso il gradiente discendente dell’errore di learning.

Tassonomia Reti Neurali

Reti feed-forward: flusso di dati uni-direzionale attraverso vari strati. Un neurone è collegato a neuroni di altri strati; Reti recurrent: un neurone può essere collegato anche a se stesso.