Modularità
Distribuizione
Moduli Opzionali
In un DBMS, la finalità della modellizzazione è di specificare tipi e proprietà degli oggetti che dovrà contenere; In un MMDBMS o in un MIRS le finalità della modellizzazione comprendono anche una specifica dei diversi livelli di astrazione dei dati multimediali.
Un modello di dati per un MIRS deve comprendere la descrizione di proprietà statiche e dinamiche:
L’usabilità di un MIRS è fortemente condizionata dal modello dei dati.
L’indicizzazione di dati multimediali implica la considerazione di:
Requisiti di un modello di dati per un MIRS:
Il paradigma Object Oriented (OO) è il meglio adattabile alla modellizzazione dei dati multimediali:
Schema generale del modello dei dati. Fonte: “modificata, tratta da Guojun Lu, Multimedia Database Management Sysyems, Norwood, MA: Artech House, Inc., © 1999 by Artech House, Inc.”
Layer oggetto: costituito da uno o più media con specifiche relazioni spaziali e temporali. Es.: Una presentazione di immagini in successione accompagnate da un commento audio.
Layer tipo: contiene i tipi comuni di media. Queste informazioni sono utilizzate nella fase di ricerca e di calcolo della similarità.
Layer formato: specifica il formato in cui il media è memorizzato. Queste informazioni sono usate nelle fasi di decodifica, analisi e presentazione.
Nota: Il modello dei dati può dipendere anche dalla specificità e dalla particolarità dell’applicazione. Un’opportuna fase di progettazione del modello può contribuire alla definizione di un modello di base generico, sul quale possono essere aggiunte o ricavate nuove caratteristiche ed oggetti richiesti dalle particolari applicazioni.
Il modello VIMSYS (Visual Information Management System) per la gestione di video ed immagini è formato da quattro layer:
Tutti gli oggetti presenti in ogni layer hanno i propri attributi e metodi.
Ad ogni livello di dati vengono assegnati gli attributi relativi:
Virage è un motore di ricerca per immagini basato su contenuto.
Struttura a tre livelli: schema, primitive e tipi di dati.
Astrae delle caratteristiche dall’informazione grezza ed opera su queste caratteristiche.
Nei sistemi di image retrieval sono identificabili 5 tipi di dati:
I vettori costituiscono il tipo di dati primario e una base uniforme per le feature rappresentative del contenuto dell’immagine.
Principali operazioni definite su vettori:
La primitiva è un insieme di vettori che rappresentano un singola categoria di informazioni di tipo immagine.
È’ semanticamente associata a feature come colore, texture e forma.
E’ specificata mediante un identificatore, un nome di categoria e funzioni per gestire e recuperare i dati.
Al livello più alto, lo schema della struttura è definito da un identificatore di schema e da un insieme ordinato di primitive.
Un’applicazione definisce ed utilizza più schemi. A questo livello sono previste funzioni per inserimento e recupero delle immagini.
Requisiti principali dell’interfaccia utente di un MIRS:
Popolazione del database
Le query che possono essere inviate ad un MIRS sono:
La ricerca è un compito fondamentale per i sistemi di gestione dei database.
Tipi di ricerca:
Spesso per query “incerte” occorre una fase di browsing: l’utente sa riconoscere quello che cerca ma non sa bene come descriverlo:
Data l’incertezza delle query sui dati multimediali, l’utente deve poter raffinare le sue richieste in base ai risultati ottenuti per la richiesta iniziale.
Se l’utente si vede restituito dal sistema un elemento abbastanza simile a quello cercato, il sistema deve permettergli di riutilizzarlo per effettuare una nuova ricerca, più raffinata.
Tale processo può essere ripetuto più volte. La conoscenza del dominio e il profilo utente possono essere utilizzati per raffinare una query. Un feedback sulla pertinenza è particolarmente utile nelle applicazioni multimediali.
Nella pratica, il processo di individuazione di un’informazione multimediale è una combinazione delle fasi di ricerca, browsing e raffinamento.
L’interfaccia utente deve permettere la visualizzazione di tutti i tipi di dato multimediale (testo, immagini, video, audio…) e presentare gli aspetti essenziali degli oggetti o permettere all’utente di muoversi all’interno di esso (ad esempio una lunga sequenza video o audio). Il tempo di elaborazione deve essere basso (i risultati devono essere mostrati via via che vengono trovati).
Gli oggetti multimediali gestiti dal database sono preprocessati per estrarne feature ed attributi.
Il processo di ricerca si basa sulla ricerca e comparazione di tali feature (e non del dato originale): l’efficacia di estrazione delle feature è basilare per ottenere un sistema di buona qualità (se una feature non è stata identificata ed estratta dal dato, ad una query su tale feature il sistema non potrà rispondere in maniera adeguata)
I requisiti per l’estrazione delle feature sono:
Metadata: catturano le informazioni di contesto che non descrivono o interpretano il contenuto del dato stesso (autore, data di creazione, titolo, ecc …).
Annotazioni testuali: sono descrizioni testuali del contenuto di un dato multimediale (soffrono del problema di essere soggettive e incomplete).
Feature di basso livello: in genere possono essere estratte automaticamente. Catturano dati e statistiche di un oggetto e le relazioni spazio temporali tra parti dell’ oggetto.
Feature di alto livello: in genere l’estrazione richiede l’intervento umano. Cercano di riconoscere e capire gli oggetti: per esempio se in un file audio c’è musica o parlato, qual è il soggetto in primo piano in un video …
Il retrieval basato sugli ultimi due tipi di feature è detto basato sul contenuto. Un sistema di gestione di dati multimediali deve supportare tutti e quattro i livelli di feature, che si completano a vicenda e rendono più completa la descrizione di un oggetto, adattandolo alle query.
Ad esempio un’annotazione testuale si presta a catturare concetti astratti come i sentimenti, ma non è idonea a descrivere pattern complessi come forme o texture irregolari. Viceversa, le feature di basso livello riescono a catturarli, ma non a descrivere concetti astratti.
Quando un oggetto multimediale comprende più tipi di media, le loro relazioni ed interazioni sono utili per l’estrazione di feature, l’interpretazione e il retrieval. Alcuni tipi di media sono più facilmente interpretabili e possono essere sfruttati per comprendere ed estrarre le feature di altri tipi di media.
Ad esempio, se un oggetto è formato da uno streaming video e da una traccia audio, si può applicare lo speech recognition per acquisire conoscenza riguardo l’oggetto e poi usare questa conoscenza per sezionare e estrarre feature ed oggetti dallo streaming video. Si osservi che MPEG-7 è uno standard di descrizione di feature, ma non ne specifica le modalità di estrazione.
Dopo avere estratto le feature e gli attributi da un dato multimediale è necessario usare delle strutture di indicizzazione per organizzare la memorizzazione delle feature e fare in modo cha la ricerca sia efficiente.
Data la natura diversa delle feature estratte, servono strategie di indicizzazione adeguate (ad esempio la distribuzione del colore in una immagine può essere memorizzata attraverso un istogramma). L’indicizzazione può essere gerarchica e avvenire a più livelli
L’indicizzazione può prendere in considerazione le relazioni spazio-temporali tra gli oggetti.
Sono necessarie misure delle similarità nello spazio delle feature estratte che simulino il giudizio umano (che è in genere soggettivo e dipendente dal contesto).
Misure di similarità
Il retrieval multimediale è basato sulla similarità e non su un matching esatto tra query e elementi del database. La similarità è calcolata sulle feature estratte e sugli attributi ed è espressa come uno o più valori.
La pertinenza dei risultati del retrieval è giudicata da esseri umani e quindi il maggior requisito delle misure di similarità e dei tipi di feature è che siano dei parametri adatti all’osservazione umana, circostanza che li rende comunque soggettivi e dipendenti dal contesto. Tutti questi fattori rendono complessa e cruciale la valutazione del retrieval.
I sistemi MIRS sono in genere distribuiti.
I dati multimediali impongono requisiti molto forti per una fruizione adeguata (larghezza di banda di trasmissione, spazio di memorizzazione, sincronizzazione spaziale e temporale).
QoS specifica un insieme di parametri e requisiti richiesti in due gradi:
La QoSè in genere negoziata tra client e server e sottoscritta tramite un “contratto” che garantisce tali parametri in uno dei seguenti modi:
La gran parte dei dati audio, video, immagini, … è salvata in formato compresso. L’obiettivo principale della compressione dei dati Multimediali non considera gli aspetti relativi al retrieval e alla presentazione. Per l’estrazione delle caratteristiche dagli oggetti multimediali occorre prima effettuare una decompressione. L’operazione di estrazione delle caratteristiche è molto frequente e ciò comporta troppa elaborazione; occorre uno schema più efficiente sia per la trasmissione che per la presentazione
Metodo 1: sul server, per ogni grande immagine si salva anche una “copia ridotta”. La query dell’utente recupera sempre la copia ridotta. Se occorre anche il dettaglio allora oltre la copia ridotta viene recuperata anche l’immagine originale. Svantaggio: ridondanza dei dati sul server.
Metodo 2: ogni query dell’utente recupera direttamente l’immagine originaria. L’immagine originaria viene ridotta per poter essere rappresentata sul client. Se occorre maggior dettaglio dell’immagine allora il server ritrasmette l’immagine originale. Svantaggio: spreco di banda per la trasmissione
Metodo 3: si usano metodi di decompressione scalabili, progressivi e gerarchici (es.: gif e jpeg progressive).
L’estrazione delle caratteristiche ed il processo di confronto presume che, per ogni media, il dato raw (grezzo o di base) sia lo stesso. Ciò non corrisponde al mondo reale, infatti, per esempio:
1. Introduzione
2. Tipologia e formati dei dati MultiMediali. Il testo
3. Tipologia e formati dei dati MultiMediali. L'audio
4. Tipologia e formati dei dati MultiMediali. Grafica e video
5. Progetto di DB Multimediali
6. Indicizzazione e recupero dei documenti di testo
7. Indicizzazione e recupero dell'audio
8. Metodi di classificazione dell'audio
9. Colori
10. Indicizzazione e recupero delle immagini
11. Esempi reali di image retrieval
12. Video
13. Strutture dati efficienti per la ricerca della similarità - pa...
14. Strutture dati efficienti per la ricerca della similarità - pa...
15. Sistemi di supporto e misure di efficacia
17. Geographical Information System - parte prima
18. Geographical Information System -parte seconda
19. Geographical Information System - parte terza