Perché ANOVA e regressione lineare sono la stessa analisi

Se la vostra formazione statistica laureato fosse qualcosa come il mio, che hai imparato ANOVA in una classe e regressione lineare in un altro. I miei professori sarebbero spesso dicono cose come "varianza è solo un caso particolare di regressione", quindi fare un sacco di mano agitando quando viene premuto a spiegare.

Non è stato fino a quando ho iniziato la consultazione che ho capito quanto strettamente legata ANOVA e la regressione sono. Sono non solo legati, sono la stessa cosa. Non un quarto e un nichelino -. Facce diverse della stessa medaglia

Quindi, ecco un esempio molto semplice che mostra perché. Quando qualcuno mi ha fatto questo, una lampadina continuò, anche se sapevo già sia varianza e regressione lineare mulitple abbastanza bene (e già avuto i miei maestri nella statistica!). Credo che la comprensione di questo piccolo concetto è stato fondamentale per la mia comprensione del modello lineare generale nel suo complesso -. Le sue applicazioni sono di vasta portata

Per fare un esempio, io uso un modello con un solo categorica variable-- indipendente categoria di occupazione - con 3 categorie: manageriale, clericale, e di custodia. La variabile dipendente è l'esperienza precedente in mesi. (Questo set di dati è employment.sav, una delle serie di dati che viene fornito gratuitamente con SPSS).

Possiamo eseguire questo sia come ANOVA o di una regressione. Nel ANOVA, la variabile categoriale è codificato effetto, il che significa che media di ogni categoria viene confrontata con la media. In regressione, la variabile categorica è codificato ** fittizia, il che significa che intercettano di ciascuna categoria è confrontata con intercetto del gruppo di riferimento. Dal momento che l'intercetta è definito come il valore medio quando tutti gli altri predittori = 0, e non ci sono altri predittori, le tre intercettazioni sono significa solo.

In entrambe le analisi, Categoria di lavoro ha un F = 69,192, con ap < .001. Altamente significativo

Nel ANOVA, troviamo le medie dei tre gruppi sono:.

Clerical: 85,039

custodiale: 298,111

Responsabile: 77,619

Nel Regression, troviamo questi coefficienti:

Intercept: 77,619

Clerical: 7.420

custodiale: 220,492

L'intercetta è semplicemente la media del gruppo di riferimento, Managers. I coefficienti per gli altri due gruppi sono le differenze nel mezzo tra il gruppo di riferimento e gli altri gruppi.

Si noterà, per esempio, che il coefficiente di regressione per Clerical è la differenza tra la media per Clerical , 85,039, e la Intercept, o significare per Manager (85,039-77,619 = 7.420). Le stesse opere per custodiale.

un'ANOVA report ogni dire e un p-value che dice almeno due sono significativamente differenti. Un report di regressione solo una media (come un'intercettazione), e le differenze tra quello e tutti gli altri mezzi, ma i valori p valutano i confronti specifici.

E 'lo stesso modello, le stesse informazioni, ma presentato in diversi modi. Capire ciò che il modello che si dice in ogni modo, e si è abilitata.

Vi suggerisco di provare questo piccolo esercizio con qualsiasi insieme di dati, quindi aggiungere in un secondo variabile categorica, prima senza, poi con una interazione. Passare attraverso i mezzi ei coefficienti di regressione e vedere come si sommano

** La codifica manichino crea due variabili: 1/0. Clerical = 1 per la categoria clericale, 0 altrimenti; Custodiale = 1 per la categoria di custodia, 0 altrimenti. Le osservazioni della categoria manageriale hanno un valore 0 in entrambe le variabili, e questo è noto come il gruppo di riferimento Hotel  .;