Dati mancanti Meccanismi

Come quasi ogni ricercatore può attestare, dati mancanti sono un problema diffuso. I dati provenienti da indagini, esperimenti, e fonti secondarie spesso mancano alcuni dati. L'impatto dei dati mancanti sui risultati dell'analisi statistica dipende dal meccanismo che ha causato i dati mancare e il modo in cui le offerte analista dati con essa. Questo è il primo di una serie di tre articoli che affronta le problematiche riguardanti dati mancanti. Questo articolo descrive i meccanismi di dati mancanti e alcuni dei loro impatti. Articoli successivi spiegheranno soluzioni comuni ma problematiche di dati mancanti, soluzioni nuove e migliori, e il software disponibile per l'implementazione di queste soluzioni.

I dati sono mancanti per molte ragioni. Soggetti in studi longitudinali spesso abbandonano prima che lo studio è stato completato perché si sono trasferiti fuori dalla zona, è morto, non vedere più beneficio personale a partecipare, o non piacciono gli effetti del trattamento. Indagini soffrono dati mancanti quando i partecipanti si rifiutano, o non conoscere la risposta a o saltare accidentalmente un elemento. Alcuni ricercatori di indagine anche progettare lo studio in modo che alcune domande vengono poste di solo un sottoinsieme di partecipanti. Studi sperimentali hanno mancano i dati quando un ricercatore è semplicemente in grado di raccogliere una osservazione. Cattive condizioni atmosferiche possono rendere impossibile l'osservazione in esperimenti sul campo. Un ricercatore si ammala o attrezzatura non riesce. I dati possono mancare in qualsiasi tipo di studio a causa di errore accidentale o l'immissione dei dati. Un ricercatore gocce un vassoio di provette. Un file di dati viene danneggiato. La maggior parte dei ricercatori sono molto familiare con uno (o più) di queste situazioni.

I dati mancanti sono problematici perché la maggior parte delle procedure statistiche richiedono un valore per ogni variabile. Quando un set di dati è incompleta, l'analista di dati deve decidere come trattare con esso. La decisione più comune è quello di utilizzare completa analisi del caso (chiamato anche listwise soppressione) - analizzare solo i casi con dati completi. Gli individui con i dati mancanti su qualsiasi variabile vengono eliminati dall'analisi. Ha vantaggi - è facile da usare, è molto semplice, ed è l'impostazione predefinita nella maggior parte dei pacchetti statistici. Ma ha limitazioni. Si può ridurre sostanzialmente le dimensioni del campione, con conseguente grave mancanza di alimentazione. Questo è particolarmente vero se ci sono molte variabili coinvolte nell'analisi, ciascuna con i dati mancanti per alcuni casi. Si può anche portare a risultati falsati, a seconda perché i dati sono mancanti.

Tutte le cause di dati mancanti inseriscono in quattro classi, che si basano sul rapporto tra il meccanismo dei dati mancanti e il dispersi e osservati i valori. Queste classi sono importanti per capire perché i problemi causati dalla mancanza di dati e le soluzioni a questi problemi sono diversi per le quattro classi.

Il primo è completamente assente a caso (MCAR). MCAR significa che il meccanismo dei dati mancanti non è correlata ai valori di tutte le variabili, sia mancante o osservato. I dati che mancano perché un ricercatore cadere le provette o partecipanti al sondaggio accidentalmente saltato domande sono suscettibili di essere MCAR. Se i valori osservati sono essenzialmente un campione casuale di set di dati completo, l'analisi completa caso dà gli stessi risultati come il set di dati completo avrebbe. Sfortunatamente, la maggior parte dei dati mancanti non sono MCAR.

All'estremità opposta dello spettro per Non ignorable (NI). NI significa che il meccanismo di dati mancanti è correlato ai valori mancanti. Essa si verifica comunemente quando la gente non vuole rivelare qualcosa di molto personale o impopolari su se stessi. Ad esempio, se gli individui con redditi più elevati hanno meno probabilità di rivelare loro su un sondaggio che sono le persone con i redditi più bassi, il meccanismo dei dati mancanti per il reddito non è ignorabile. Se il reddito è mancante o osservata è legata al suo valore. Analisi completa caso può dare risultati molto parziali per i dati mancanti NI. Se gli individui proporzionalmente più bassi e moderati di reddito sono lasciati nel campione perché le persone ad alto reddito sono mancanti, una stima del reddito medio sarà inferiore rispetto alla popolazione attuale media.

Tra questi due estremi sono mancanti in modo casuale (MAR) e Covariate Dipendente (CD). Entrambe queste classi richiedono che la causa dei dati mancanti è correlato ai valori mancanti, ma può essere correlato ai valori osservati delle altre variabili. MAR significa che i valori mancanti sono legati sia covariate accertate oa variabili di risposta, mentre CD significa che i valori mancanti sono riferite solo alla covariate. Come esempio di dati mancanti CD, i dati sul reddito mancanti possono essere estranei ai valori reddituali attuali, ma sono relative all'istruzione. Forse le persone con più di istruzione hanno meno probabilità di rivelare il loro reddito rispetto a quelli con meno di istruzione.

Una distinzione fondamentale è se il meccanismo è ignorabile (cioè, MCAR, CD o MAR) o non ignorabile. Ci sono ottime tecniche di manipolazione dei dati mancanti ignorabili. Dati mancanti non trascurabili sono più impegnativo e richiedono un approccio diverso Hotel  .;