Simona Balbi » 2.Progettazione, realizzazione e controllo nelle indagini statistiche

Il problema della comunicazione committente – ricercatore nelle analisi di mercato

Una delle criticità di un’AM è la comunicazione fra committente (aziendale) e ricercatore (statistico, ma non solo). Il problema ha due facce: da un lato, tradurre il bisogno informativo del committente nel linguaggio delle metodologie per soddisfarlo, dall’altro, tradurre i risultati delle analisi in termini facilmente comprensibili, tali da essere facilmente trasposti in chiave operativa.

Questi due momenti sono cruciali in una AM. La metodologia statistica ha da decenni compreso l’importanza di una comunicazione che vada oltre il numero. La parola chiave di questa rivoluzione è “visualizzazione”.

Le tecniche statistiche che si approfondiranno, da quelle per la “segmentazione del mercato” a quelle per il “posizionamento di una marca/prodotto” si caratterizzano per risultati di natura grafica. Il primo momento è più critico, perché necessita da parte del ricercatore nozioni di carattere economico aziendalistico e da parte del committente la comprensione dei vincoli metodologici.

Struttura di un’indagine statistica

L’indagine statistica si articola in una serie di passi, logici ed operativi:

1. stabilire i fabbisogni di informazione
2. specificare gli obiettivi di ricerca e i fabbisogni informativi
3. determinare il piano della ricerca e le fonti dei dati
4. sviluppare le procedure di raccolta dei dati
5. predisporre il piano di campionamento
6. rilevazione dei dati
7. elaborazione dei dati
8. analisi dei dati
9. presentazione dei risultati della ricerca

La realizzazione di un’indagine va vista come un processo e come tale è sottoposta a controllo. La qualità del prodotto (dato) può essere misurata in termini di errore, ossia di scostamento del valore osservato/stimato dal valore vero della popolazione. L’oggetto del controllo è il contributo all’errore totale (campionario + extra-campionario) che può essere generato dalla realizzazione di ciascuna fase e che approfondiremo successivamente.

Fasi di una ricerca

1. Stabilire i fabbisogni di informazioni
2. Specificare gli obiettivi di ricerca e i fabbisogni informativi corrispondenti
3. Determinanre il piano della ricerca e le fonti dei dati
4. Sviluppare le procedure di raccolta dei dati
5. Predisporre il piano di campionamento
6. Rilevazione dei dati
7. Elaborazione dei dati
8. Analisi dei dati
9. Presentazione dei risultatti della ricerca

Ciascuna di queste fasi può essere fonte di errore.

L’errore in un’indagine: definizione

Errore statistico

E’ la discrepanza tra valore vero e valore disponibile dall’indagine statistica.

Può essere riferito alla singola unità statistica: la discrepanza è dovuta al complesso degli errori legati alla rilevazione dell’informazione dall’unità statistica.

Può essere riferito ad una statistica di sintesi dei dati rilevati mediante indagine campionaria. In questo caso si aggiunge l’errore legato al campionamento a causa del quale, anche nell’ipotesi puramente teorica che i valori di ogni unità fossero rilevati con esattezza, la statistica campionaria differirebbe comunque dal valore osservabile in un’indagine completa.

L’argomento dell’ errore statistico verrà approfondito in seguito.

Come ridurre l’errore attraverso la comunicazione

• Manager(o decisore):
  • determina il problema e definisce gli obiettivi (dell’organizzazione e personali)
  • comunica chiaramente problemi e  obiettivi al ricercatore

• Ricercatore di mercato:
  • stabilisce i fabbisogni informativi
  • definisce in termini chiari Il problema
  • sviluppa gli obiettivi specifici
  • definisce con Il manager le specifiche

Come ridurre l’errore attraverso la comunicazione

Formula il modello

1. Individua le variabili di interesse
2. Individua le variabili controllabili e quanto controllo puo’ essere esercitato
3. Determina le relazioni funzionali fra le variabili

Formalizza il progetto

Scelte di base

1. Fare le domande giuste
2. Farle alle persone giuste
3. Fare le domande nel modo giusto
4. Ottenere le risposte giuste rispetto alle esigenze conoscitive del committente

Sceglie la tecnica di rilevazione appropriata

• Interviste telefoniche
• Interviste postali (internet, fax, ecc.)
• Interviste personali

L’errore nelle indagini statistiche

In questa unità si approfondiscono le definizioni di errore campionario (già apprese nel corso di inferenza) e di errore extra-campionario. L’attenzione si concentra, quindi, su quest’ultimo e sulle diverse cause che possono generarlo. Si approfondisce, così, la nozione di qualità del dato statistico e delle sue specifiche, nonché gli strumenti per ridurlo, se non prevenirlo. In particolare, il “profilo dell’errore”.

Si approfondisce una delle fonti di errore più interessanti dal punto di vista della metodologia statistica: il trattamento delle risposte mancanti, distinguendo fra mancate risposte totali e parziali ed esaminando i principali metodi di attribuzione di valori (imputazione) alle celle vuote.

L’errore statistico o totale

Si ha un errore statistico ogni qual volta il valore osservato differisce dal valore vero. Si manifesta, quindi, sia nelle rilevazioni campionarie che in quelle esaustive.

La qualità di un’indagine è strettamente legata all’errore che viene a prodursi nella sua realizzazione, ma anche alla possibilità di una sua quantificazione e alla identificazioni delle fonti che lo hanno generato e dei meccanismi che lo hanno indotto. In questo senso si ritiene che l’ottica che deve assumere chiunque si ponga l’obiettivo di produrre dati deve essere quella del controllo della qualità e, meglio ancora, quella della qualità totale, che pone alla base della sua filosofia la prevenzione dell’errore, che viene attuata prima di tutto nella fase di progettazione.

La quantificazione dell’errore

La qualità di un prodotto/servizio può essere vista come la soddisfazione delle esigenze del cliente/utente in termini di garanzie di progettazione. Nel caso specifico della qualità dei dati queste esigenze possono essere espresse in termini di:

• attendibilità, come accuratezza delle stime
• adeguatezza, come raggiungimento degli obiettivi, anche in termini di  diffusione dei risultati

E, quindi:

• tempestività, misurata dal periodo che intercorre tra la raccolta dei dati e la diffusione dei risultati
• rilevanza teorica (raggiungimento degli obiettivi) ed effettiva (utilizzo dell’informazione prodotta)
• trasparenza, come disponibilità delle informazioni relative agli strumenti utilizzati

Volendo ancora utilizzare il linguaggio del controllo della qualità, si possono introdurre garanzie di tolleranza, in termini di precisione, che non è soltanto quella determinata dall’ampiezza degli intervalli di confidenza prodotti, ma anche di un contenimento di tutti gli errori materiali che possono prodursi nella realizzazione dell’indagine.

Occorre, allora, introdurre la distinzione fra errore campionario e errore extra – campionario.

L’errore in un’indagine definizione

Errore totale (statistico) = Errore campionario + Errore extra-campionario

• Errore campionario: è l’errore variabile che deriva dal fatto che noi stimiamo qualcosa circa la nostra popolazione di interesse a partire da un campione

• Errore extra – campionario: tutti gli altri possibili errori che si determinano nella produzione del dato

Errore campionario

Come è noto dal corso di inferenza, in una procedura di stima per intervalli è possibile quantificare (fissato il livello di confidenza) l’errore massimo che possiamo commettere. Questo errore è espresso dagli estremi dell’intervallo di confidenza. Definiamo errore campionario l’errore variabile che deriva dal fatto che noi stimiamo qualcosa della nostra popolazione a partire da uno dei possibili campioni di dimensione n che avremmo potuto estrarre dalla nostra popolazione di interesse. Sarebbe nullo qualora potessimo osservare l’intera popolazione. Evidentemente questo errore è indipendente da noi, in quanto è legato alla natura del fenomeno osservato. Poniamo, ad esempio, di voler stimare la media di una certa grandezza nella popolazione. La varianza dello stimatore media campionaria è pari alla varianza della variabile in studio, fratto la numerosità campionaria. Se quest’ultima è fissata da motivi di carattere economico, non si può intervenire per ridurre l’errore campionario.

Errore extra-campionario

Sotto l’etichetta di errore extra-campionario (o non campionario) vanno tutti gli altri allontanamenti dal valore vero, che possono essersi generati nelle diverse fasi dell’indagine, nonché le loro interazioni. E’ presente sia nelle indagini campionarie che in quelle esaustive. Sono, ad esempio, errori extra-campionari:

• gli errori nell’ identificazione della popolazione
• gli errori nell’individuazione delle unità appartenenti alla popolazione
• le non risposte sistematiche
• gli errori nell’estrazione del campione
• gli errori di rilevazione (domande del questionario poco chiare, o di diversa comprensione, ad esempio, a secondo del livello di istruzione dell’intervistato)
• gli errori di registrazione dei dati
• …

Secondo Fabbris, possiamo considerare ogni passaggio di informazione da un supporto ad un altro supporto come una potenziale fonte di errore extra-campionario.

Tipi di errore extra-campionario

E’ possibile catalogare gli errori non campionari, tenendo conto del soggetto che li ha determinati:

• ricercatore – sono gli errori commessi nella fase di progettazione dell’indagine, dalla cattiva definizione della popolazione a problemi nella struttura del questionario
• rispondente/ rilevatore – sono gli errori compiuti in fase di rilevazione; una delle insidie maggiori è “l’effetto rilevatore”, generato dall’interazione dei due soggetti, ovvero il condizionamento indotto sul rispondente dal rilevatore nel corso della somministrazione del questionario
• operatore di registrazione – sono fortunatamente molto ridotti oggi, grazie ai sistemi di intervista e di registrazione assistite dal computer

Error profile

Il profilo dell’errore (error profile)  di un’indagine è:

<< la descrizione completa e ordinata delle operazioni e delle potenziali fonti di errore nonché dell’effetto dell’errore di ciascuna operazione sull’errore complessivo >>

Il ricorso all’error profile presenta notevoli vantaggi:

• consente un migliore dimensionamento dell’errore complessivo
• sensibilizza gli utilizzatori sugli effetti dei diversi tipi di errore
• stimola a predisporre  programmi per il controllo della qualità dei dati

Si tratta di una pratica ormai diffusa, anche a livello di Istituti di Ricerca Nazionali, come l’ISTAT ed è un supporto prezioso.

Provocatoriamente, Marbach propone di chiamarlo quality profile perché non venga ad essere interpretato come un mea culpa degli autori dell’indagine, quanto, piuttosto, un indicatore della qualità di un’indagine concepita come un prodotto e suscettibile di essere sottoposto a controllo, verifica e miglioramento.

La qualità dei dati

Tornando al linguaggio del controllo statistico di qualità, possiamo quindi concludere:

qualità come soddisfazione delle esigenze dell’utente in termini di:

Garanzie di progettazione:

• tempestività
• rilevanza teorica ed effettiva
• trasparenza

e garanzie di tolleranza:

• precisione campionaria
• precisione extra-campionaria

Garanzie di progettazione: i metadati

Una conseguenza di estremo interesse di quanto fin qui detto è quella che riguarda l’informazione sul dato.

Le informazioni di carattere qualitativo e quantitativo riguardanti le caratteristiche di un’indagine prendono il nome di metadati.

I metadati rappresentano oggi un elemento di estrema importanza circa il valore da attribuire al dato che si va ad utilizzare.

Nel campo della epidemiologia e della statistica medica sono ormai divenute pratica comune le meta-analisi, ossia le analisi dei metadati, per porre a confronto le risultanze di esperimenti e di analisi.

Gli statistici per primi, ma in generale gli utilizzatori di dati statistici e, quindi, in particolare gli analisti di mercato, dovrebbero sempre più acquisire la consapevolezza e la capacità critica di giudicare il dato su cui operano, prima ancora dei risultati della propria analisi.