STATISIK LV Nr.: 1375 SS 2005 14. April 2005

Varianzanalyse Varianzanalyse od. ANOVA Frage: Hat ein Faktor Einfluss auf ein Merkmal? Faktor: Nominal skalierte Größe, Faktorausprägungen = Ebenen oder Stufen Merkmal (durch Faktor beeinflusst): Metrische Größe

Varianzanalyse Varianzanalyse Einfache Varianzanalyse: Ein Faktor Zweifache Varianzanalyse: Zwei Faktoren …

Varianzanalyse Test, für arithmetische Mittel von zwei oder mehr Grundgesamtheiten. Test, ob die Differenz der arithmetischen Mittel von zwei oder mehr als zwei Grundgesamtheiten signifikant von Null verschieden ist.

Varianzanalyse Modellannahmen der Varinazanalyse: Unabhängigkeit der Stichproben (i=1,…,r) Normalverteilung der Merkmale mit µi und σi² Varianzhomogenität (Homoskedastizität), d.h. σi² = σ²

Varianzanalyse Nullhypothese: Alle Gruppen haben den gleichen Mittelwert µ H0: µ1 = µ2 = … = µ Alternativhypothese: Nicht alle Gruppen haben den gleichen Mittelwert µ H1: mindestens zwei µi sind ungleich

Varianzanalyse Frage: Beeinflusst der Faktor (nominal-skalierte Größe) das Merkmal (metrisch-skalierte Größe)? Unter H0: µi = µ für alle i (i = 1,…,r Faktorstufen). Abweichung, die dem Faktor zuzuschreiben sind: αi = µi - µ (i = 1,…,r) heißen wahre Effekte auf der i-ten Ebene.

Varianzanalyse Modell der einfachen Varianzanalyse: xij = µ + αi + eij µ … Gesamtmittelwert αi … Effekt auf der i-ten Ebene eij … Versuchsfehler = die Abweichung eines zufällig aus der i-ten Ebene des Faktors herausgegriffenen Beobachtungswertes xik vom Mittelwert µi dieser Ebene. eij = xij – µi = xij – (µ + αi)

Varianzanalyse Beispiel: Zugfestigkeit von r = 3 Drahtsorten überprüfen, je Sorte 6 Proben, unabhängig voneinander und N(µi,σ²)-vt. Frage: Bestehen signifikante Unterschiede in der Zugfestigkeit? i   Drahtsorte j 1 2 3 9 7,3 18 15,4 15,6 9,6 8,2 14,2 11,5 4 3,9 13 19,4 5 6,8 17,1 6 10,8 9,7 14,4

Varianzanalyse Vorgehensweise: Gesamtmittelwert aller Faktorstufen und Mittelwerte der Faktorstufen bestimmen Bestimmung der Abweichungen Zerlegung der Abweichungsquadratsumme Teststatistik und Testverteilung bestimmen Entscheidung, Interpretation

Varianzanalyse Gesamtmittelwert über alle Faktorstufen r Mittelwerte der r Faktorstufen

Varianzanalyse Beispiel: Drahtsorten i Drahtsorte j 1 2 3 x.. 9 7,3   Drahtsorte j 1 2 3 x.. 9 7,3 18 15,4 15,6 9,6 8,2 14,2 11,5 4 3,9 13 19,4 5 6,8 17,1 6 10,8 9,7 14,4 xi. 9,1 11,1 15 11,7

Varianzanalyse Abweichungen: Quadratsumme der Abweichungen (Sum of Squares) Abweichungen der Beobachtungen vom Gesamtmittelwert. Summe der Quadratischen Abweichungen Bezeichnungen: SST (Total), SSG (Gesamt)

Varianzanalyse Sum of Squares: Abweichungen der Beobachtungen der einzelnen Messreihen vom Mittelwert der jeweiligen Messreihe. Summe der Quadratischen Abweichungen des Restes, Maß für die nicht durch den Faktor beeinflusste Restvariabilität Bezeichnungen: SSW (Within), SSE (Error), SSR (Residual).

Varianzanalyse Sum of Squares: Abweichungen der Mittelwerte der einzelnen Messreihen vom Gesamtmittelwert. Mit Stichprobengröße multiplizierte Summe der Quadratischen Abweichungen der Stichprobenmittelwerte vom Gesamtmittelwert, also der beobachteten Effekte des Faktors. Bezeichnungen: SSB (Between), SSE (Explained), SSM (Model), SST (Treatment),

Varianzanalyse Quadratsummenzerlegung: SST = SSB + SSW Interpretation: Gesamtvarianz (SST) setzt sich aus der Variation zwischen den Messreihen (SSB) und der Variation innerhalb der Messreihen (SSW) zusammen.

Varianzanalyse Idee für Test: Vergleich der Variation zwischen den Messreihen mit der Variation innerhalb der Messreihen Ist die Variation zwischen den Messreihen größer als jene innerhalb der Messreihen, schließe auf Unterschied zwischen den Messreihen (Faktoreffekt).

Varianzanalyse Teststatistik – Idee: Aus den Beobachtungswerten werden zwei voneinander unabhängige Schätzwerte für sW² und sB² für die Varianzen der Beobachtungswerte innerhalb und zwischen den Stichproben bestimmt. Liegen keine wahren Effekte vor (Gültigkeit von H0), sind sW² und sB² (bis auf zufällige Abweichungen) gleich. Bei Vorhandensein von wahren Effekten (H1) ist sB² systematisch größer als sW².

Varianzanalyse Erwartungstreuer Schätzer für die Varianz innerhalb der Messreihen (Restvarianz): Erwartungstreuer Schätzer für die Varianz zwischen den Messreihen (Faktoreffekt)

Varianzanalyse Mittlere Quadratsummen (MSS = Mean Sum of Squares): Quadratsummen dividiert durch entsprechende Freiheitsgrade MSB und MSW sind erwartungstreue Schätzer der Varianz zwischen- und innerhalb der Messreihen.

Varianzanalyse Varianzanalysetafel (r Messreihen): Streuungs-ursache Freiheits-grade (DF) Quadrat-summe (SS) Mittlere Quadratsumme (MS) Unterschied zw Messreihen r-1 SSB (Between) MSB = SSB / (r-1) Zufälliger Fehler N-r SSW (Within) MSW = SSW / (N-r) Gesamt N-1 SST (Total)

Varianzanalyse Teststatistik: F = MSB / MSW F ~ F(r-1),(N-r) Entscheidung: Ist F ≤ Fc, lehne H0 nicht ab (Fc = kritischer Wert der F-Verteilung mit (r-1) und (N-r) Freiheitsgraden).

Varianzanalyse Beispiel: Drahtsorten Quadratsummenzerlegung: SST = SSB + SSW 324,62 = 108,04 + 216,58 Mittlere Quadratsummen: MSB = 108,04 / (3-1) = 54,02 MSW = 216,58 / (18-3) = 14,44 Teststatistik: F = MSB / MSW = 3,74 Kritischer Wert der F2;15 Vt. 3,68 Entscheidung: 3,74 > 3,68 => H0 ablehnen, d.h. es besteht ein signifikanter Unterschied zw. den Sorten

Varianzanalyse Zweifache Varianzanalyse: Unterscheidung: 2 Faktoren (A und B, wobei r Faktorstufen bei A und p Faktorstufen bei B) 1 metrische Variable Unterscheidung: Modell ohne Wechselwirkungen zw. den Faktoren Modell mit Wechselwirkungen zw. den Faktoren

Varianzanalyse Modell ohne Wechselwirkungen zw. den Faktoren xijk = µ + αi + βj + eijk (für i=1,…,r, j=1,…,p, k=1,…,n) µ gemeinsamer Mittelwert α, β Faktoreffekte eijk zufällige Fehler

Varianzanalyse Mittelwerte: Gesamt Faktor A Faktor B

Varianzanalyse Schätzer für Gesamtmittel und Effekte Gesamtmittel Effekt von Faktor A Effekt von Faktor B

Varianzanalyse Quadratsummen SSR = SST – SSE(A) – SSE(B)

Varianzanalyse Quadratsummenzerlegung Mittlere Quadratsummen: SST = SSE(A) + SSE(B) + SSR Mittlere Quadratsummen: MSE(A) = SSE(A) / (r-1) MSE(B) = SSE(B) / (p-1) MSR = SSR / (rpn-r-p+1)

Varianzanalyse Prüfgrößen und kritische Werte: Faktor A: Faktor B: F(A) = MSE(A) / MSR Fr-1,(nrp-r-p+1);1-α Faktor B: F(B) = MSE(B) / MSR Fp-1,(nrp-r-p+1);1-α

Varianzanalyse Beispiel: 2 Faktoren (Erreger, Antibiotikum) Erreger i (A)   Antibiotikum j (B) 1 2 3 Mittelwerte Schätzer ai k 38 40 35 41 39 38,5 0,667 42 33 45 34 37,7 -0,167 36 37,3 -0,500 39,8 38,2 35,5 37,8 Schätzer bj 2,000 0,333 -2,333

Varianzanalyse Modell mit Wechselwirkungen zw. den Faktoren xijk = µ + αi + βj + (αβ)ij + eijk (für i=1,…,r, j=1,…,p, k=1,…,n) µ gemeinsamer Mittelwert α, β Faktoreffekte αβ Wechselwirkung eijk zufällige Fehler

Varianzanalyse Mittelwerte: Gesamt Faktor A Faktor B Wechselwirkung

Varianzanalyse Gesamtmittel und Effekte Gesamtmittel Effekt von Faktor A Effekt von Faktor B Effekt der Wechselwirkung

Varianzanalyse Quadratsummen SSR = SST – SSE(A) – SSE(B) – SSE(AB)

Varianzanalyse Quadratsummenzerlegung Mittlere Quadratsummen: SST = SSE(A) + SSE(B) + SSE(AB) + SSR Mittlere Quadratsummen: MSE(A) = SSE(A) / (r-1) MSE(B) = SSE(B) / (p-1) MSE(AB) = SSE(AB) / (p-1)(r-1) MSR = SSR / (rpn-r-p+1)

Varianzanalyse Prüfgrößen und kritische Werte: Faktor A: Faktor B: F(A) = MSE(A) / MSR Fr-1, pr(n-1); 1-α Faktor B: F(B) = MSE(B) / MSR Fp-1, pr(n-1); 1-α Wechselwirkung: F(AB) = MSE(AB) / MSR F(p-1)(r-1), pr(n-1); 1-α

Antibiotikum j (Faktor B) Varianzanalyse Beispiel: 2 Faktoren + Wechselwirkung Erreger i   Antibiotikum j (Faktor B) (Faktor A) 1 2 3 `xi.. ai k xi1k `xi1. (ab)i1 xi2k `xi2. (ab)i2 xi3k `xi3. (ab)i3 38 36,5 -4,000 40 40,5 1,667 38,5 2,333 35 41 39 0,667 42 43,5 3,833 36 -2,000 33 33,5 -1,833 45 34 37,7 -0,167 39,5 0,167 0,333 34,5 -0,500 37,3 `x.j. 39,8 38,2 35,5 37,8 bj 2,000 -2,333

Varianzanalyse Beispiel: Varianzanalysetafel Faktor Erreger: kein Effekt Faktor Antibiotikum: Effekt Interaktion: Effekt (impliziert, dass auch Faktor Erreger eine Wirkung hat). Streuungs-ursache Freiheits-grade Quadrat-summe Mittlere Quadrats. Test-statistik Kritischer Wert Erreger 2 4,33 2,16667 0,52 4,26 Antibiotikum 57,33 28,6667 6,88 Interaktion 4 93,33 23,3333 5,60 3,63 Fehler 9 37,50 4,16667   Total 17 192,5

Varianzanalyse

Regressionsanalyse Beziehung zwischen zwei oder mehr metrisch skalierten Merkmalen. Art der Abhängigkeit bestimmen, mathematische Funktion, durch die sich die Abhängigkeit zwischen den Variablen am besten beschreiben lässt.

Regressionsanalyse Abhängige Variable (Regressand): Y „zu erklärende Variable“ Unabhängige Variable/n (Regressor): X „erklärende Variable/n“ Regressionsfunktion: Mathematische Funktion, die die Abhängigkeit zwischen den Variablen beschreibt. Regression von Y auf X, Y=f(X).

Regressionsanalyse Art der Beziehung zw. den Variablen? Welche Form hat die Regressionsfunktion? Antworten darauf aus: Theorie Empirische Beobachtung, z.B. Punktwolke zeichnen, welche Funktion passt sich gut an die Punktwolke an? Durch welche Funktion lässt sich die Grundtendenz des Zusammenhangs darstellen?

Regressionsanalyse Punktwolke Regressionsfunktion

Regressionsanalyse Lineare Regression: Nichtlineare Regression: Regressionsfunktion ist linear Nichtlineare Regression: Regressionsfunktion ist nicht linear

Regressionsanalyse Einfachregression: Beziehung zwischen 2 Variablen Regressand: Y Regressor: X Mehrfachregression = multiple Regression: Beziehung zwischen 3 oder mehr Variablen Regressoren: X1, X2, …, Xk

Regressionsanalyse Lineare Einfachregression: Lineare Regressionsfunktion (Regressionsgerade) beschreibt die Abhängigkeit zwischen der Variablen Y und X. Zwei Merkmale X und Y werden an n Objekten der Grundgesamtheit beobachtet => Realisationen x1, …, xn und y1, …, yn.

Regressionsanalyse Wahre Funktion: yi‘ = α + βxi für i = 1, …, n α … Absolutglied β … Steigungsparameter Beobachtet wird: yi = yi‘ + εi für i = 1, …, n εi … Störterm, Realisationen einer Zufallsvariable Wahre Koeffizienten, Parameter der Grundgesamtheit

Regressionsanalyse Modell der linearen Einfachregression: yi = α + βxi + εi für i = 1, …, n α … Absolutglied β … Steigungsparameter εi … Störterm

Regressionsanalyse Annahmen: E(εi) = 0 für i=1,…,n Var(εi) = σ² für i=1,…,n (Homoskedastizität) Cov(εi,εj) = 0 für alle ij (unkorrelierte Fehler) xi nicht stochastisch xi  xj für mindestens ein ij

Regressionsanalyse Aus den Annahmen folgt für die abhängige Zufallsvariable Yi: E(Yi) = E(α + βxi + εi) = α + βxi + E(εi) = yi‘ für i=1,…,n Var(Yi) = Var(εi) = σ² für i=1,…,n = 0

Regressionsanalyse Regressionsfunktion/-gerade: ŷi = a + bxi für i = 1, …, n a … Schätzer für Absolutglied b … Schätzer für Steigungsparameter ŷi … Schätzer für Ausprägung yi von Y

Regressionsanalyse Abweichung zwischen den beobachteten Werten yi und den geschätzten Werten ŷi: Residuen ei = yi – ŷi = yi – (a + bxi)

Regressionsanalyse Regressionsgerade: unendlich viele mögliche Geraden durch eine Punktwolke Wähle jene, die die vorhandene Tendenz am besten beschreibt, d.h. wähle jene, die eine möglichst gute Schätzung ŷ für die Ausprägung y des Merkmals Y eines Objekts, das die Ausprägung x des Merkmals X trägt, bestimmt.

Regressionsanalyse Methode der Kleinsten Quadrate Kriterium für die Güte der Schätzung: Summe der Abweichungsquadrate (Residual-Quadratsumme) Wähle die Schätzer a und b für α und β so, dass S² minimal wird.

Regressionsanalyse

Regressionsanalyse Minimiere S² (= Summe der vertikalen quadratischen Abweichungen der beobachteten Werte yi von den durch die Regressionsgerade an den Stellen xi bestimmten Werten ŷi).

Regressionsanalyse Bedingung 1. Ordnung: 1. Ableitung = 0. Schätzer a und b ergeben sich als Lösungen des Normalengleichungssystems: Bedingung 2. Ordnung: 2. Ableitung positiv, d.h. Determinante der Hesse-Matrix > 0

Regressionsanalyse Kleinste Quadrate Schätzer für β: Kleinste Quadrate Regressionsfunktion:

Regressionsanalyse Eigenschaften der KQ Schätzer: Summe der Residuen ei ist Null. Summe xiei ist Null. Das arithmetische Mittel der beobachteten Werte ist gleich dem arithmetischen Mittel der geschätzten Werte Die Regressionsgerade läuft durch den Schwerpunkt der Punktwolke (x,y).

Regressionsanalyse Quadratsummenzerlegung: Ziel der Regressionsfunktion: Variation der abhängigen Variable soll aus der Variation der unabhängigen Variablen erklärt werden. Zu erklärende Variation: yi –y Erklärte Variation: ŷi –y Nicht erklärte Variation: yi – ŷi (yi – y) = (ŷi –y) + (yi – ŷi) für i=1,…,n

Regressionsanalyse

Regressionsanalyse Maß der Variation: Quadratsumme der Abweichungen SST =  (yi –y)² Sum of Squares Total SSE =  (ŷi –y)² Sum of Squares Explained SSR =  (yi – ŷi)² Sum of Squares Residual Es gilt: SST = SSE + SSR

Regressionsanalyse Einfaches Bestimmtheitsmaß: Maß für die durch die lineare Regressionsfunktion geliefert Erklärung der Variation der abhängigen Variablen r² = SSE / SST = 1 – SSR / SST r² = Anteil der durch die Regressionsfunktion erklärten Variation an der zu erklärenden gesamten Variation.

Regressionsanalyse Es gilt: 0 ≤ r² ≤ 1 Extremfälle: r² = 0  SSE = 0  ŷi =ŷ (=y) für alle i, d.h. ŷi hängt nicht von i ab  b = 0, d.h. Regressionsgerade ist horizontal. Kein Erklärungsbeitrag r² = 1  SSE = SST  SSR = 0  ei = 0 für alle i  ŷi = yi für alle i  die Daten liegen auf der Regressionsgeraden. Vollständige Erklärung

Regressionsanalyse

Regressionsanalyse Linearer Einfachkorrelationskoeffizient: r = + r² und r  [0 ; 1] Extremfälle: r = 0, d.h. fehlende Erklärung, fehlende Korrelation r = 1, d.h. vollständige Erklärung, vollständige Korrelation r wird das Vorzeichen der Steigung der Regressionsgeraden zugewiesen.

Regressionsanalyse Eigenschaften der KQ Schätzer: Da yi Zufallsvariable sind, sind auch a und b Zufallsvariable. Erwartungswerte der KQ Schätzer: E(b) = β E(a) = α D.h. a und b sind unverzerrte Schätzer

Regressionsanalyse Varianzen der KQ Schätzer: Beides sind theoretische Größen, da σ² (=Var(εi)) unbekannt ist.

Regressionsanalyse Kovarianz der KQ Schätzer: Die Kovarinaz ist proportional zu σ², sie hängt vom Vorzeichen von x ab.

Regressionsanalyse Frage: Gibt es bessere Schätzer als die KQ Schätzer für α und β? Besser im Sinne einer kleineren Varianz, denn je kleiner die Varianz des Schätzers, umso besser ist er.

Regressionsanalyse Gauss-Markov-Theorem: Einfaches lineares Regressionsmodell, Es gelten Annahmen 1-5 Der KQ Schätzer ist der beste lineare erwartungstreue Schätzer, BLUE (Best linear unbiased Estimator) Best: Var(b*)  Var(b) Linear: b* =ciyi Unbiased: E(b*) = β Analoge Aussage für Schätzer a* von α.

Regressionsanalyse Schätzung der Fehlervarianz σ² Wären εi beobachtbar, dann Schätzer für σ² = 1/n εi². Aber: εi nicht beobachtbar, daher σ² durch s² schätzen.

Regressionsanalyse Diesen Schätzer von σ² verwendet man, um unverzerrte Schätzer für Var(a) und Var(b) zu konstruieren.

Regressionsanalyse Inferenz im linearen Regressionsmodell: Ann (1-5) Ann (6): εi ~ N(0,σ²) Testprobleme: Einseitig: z.B. H0: b = b* gegen H1: b > b* Zweiseitig: H0: b = b* gegen H1: b  b* Teststatistik:

Regressionsanalyse Verteilung der Teststatistik: sb bekannt: T ~ N(0,1) sb geschätzt: T ~ tn-2 Kritische Werte bestimmen Entscheidung: Lehne H0 ab, wenn Teststatistik im kritischen Bereich liegt. Gleiche Vorgehensweise bei Tests für Schätzer a.

Regressionsanalyse Konfidenzintervall Regressionskoeffizienten Interzept: Es gilt P(a – t sa  α  a + t sa) = 1 – α KI für α: [a – t sa; a + t sa] Steigungsparameter: Es gilt P(b – t sb  β  b + t sb) = 1 – α KI für β: [b – t sb; b + t sb] t = t1- α/2; n-2 (Werte der t-Verteilung)