Regression und Korrelation

Ziel: Vorhersage Unabhängige Variable X (quantitativ) Abhängige Variable Y Wie genau erlaubt die Kenntnis von X, den Wert von Y vorherzusagen, und welcher Wert wäre das? Vorhergesagter Wert Y ' = F (X) (wieso Vorhersage? Wir kennen Y doch!) Vereinfachung: Existiert ein linearer Zusammenhang? Y ' = a + b X

Linearität Fast jeder Zusammenhang ist lokal linear global nichtlinear

Das lineare Modell y'i = a + b · xi yi = y'i + ei = a + b · xi + ei ei = yi – y'i Y X Y' = a + b X ei Ziel: <e²> minimieren. <y> = a + b · <x> a = <y> – b · <x> b = Vxy / Vxx

Varianz und Kovarianz Vxx = < (x – <x>) ² > = < x² – 2 x <x> + <x>² > = <x²> – 2 <x> <x> + <x>² = <x²> – <x>² Sx =  Vxx Vyy= <y²> – <y>² Vxy = < (x – <x>) (y – <y>) > = <xy> – <x> <y> Vyx = Vxy

Kovarianz Vxy = < (x – <x>) (y – <y>) > = <xy> – <x> <y> Vxy ist positiv, wenn positive Abweichungen in X mit positiven Abweichungen in Y einhergehen, und negative mit negativen. Vxy ist negativ, wenn positive Abweichungen in X mit negativen Abweichungen in Y einhergehen, und negative mit positiven. Vxy ist Null, wenn positive Abweichungen in X gleich häufig mit positiven wie mit negativen Abweichungen in Y einhergehen (und dasselbe für negative Abweichungen in X).

z-transformierte Daten Ziel: <e²> minimieren. <y> = a + b · <x> a = <y> – b · <x> b = Vxy / Vxx <x> = <y> = 0, Vxx = Vyy = 1. a = 0 b = Vxy = <xy> – <x> <y> = <xy>

Vertauschung von X und Y Ziel: <e²> minimieren. b = <xy>  [–1,1] Y X X' = (1/b) Y ei X' = b Y Y X Y' = b X ei ei

Steigung und Korrelationskoeffizient by·x = Vxy / Vxx bx·y = Vxy / Vyy  1 / by·x = Vxx / Vxy rxy = Vxy / (Vxx  Vyy) by·x = rxy   (Vyy/Vxx) = rxy  Sy/Sx bx·y = rxy   (Vxx/Vyy) = rxy  Sx/Sy rxy² = Vxy² / (Vxx  Vyy) <ei²> = Vyy  ( 1 – rxy² ) = ( 1 – rxy² ) für z-transformierte Daten

Varianz und Korrelationskoeffizient rxy² = Vxy² / (Vxx  Vyy) <ei²> = Vyy  ( 1 – rxy² ) = der Anteil von Vyy, der nicht durch X erklärt wird Vyy  rxy² = der Anteil von Vyy, der durch X erklärt wird yi = a + b · xi + ei Vxx rxy²·Vxx (1–rxy²) ·Vyy Vyy (1–rxy²) ·Vyy rxy²·Vyy

Partial- und Semipartialkorrelation Bei Schulkindern korreliert Lesefähigkeit X mit Sprungweite Y. Verdacht: Beides korreliert mit Alter Z. „Scheinkorrelation“... (echte Korrelation, Verdacht: nicht kausal) Test: Alter konstant halten... oder: Lesefähigkeit und/oder Sprungweite vom Alter bereinigen. bereinigte Variablen: X* = X – bx.z · Z, Y* = Y – by.z · Z. Partialkorrelation: rx*y* = rxy.z = (rxy– rxz·ryz) / ((1 – rxz²) · (1 – ryz²)). Semipartialkorrelation: rxy* = rx(y.z) = (rxy– rxz·ryz) / (1 – ryz²). Frage: Wie korrelieren X und Y bei konstantem Z? Frage: Wieviel trägt Y zu X bei über das hinaus, was Z beiträgt? Z  Y  X

SemiPartialkorrelation und Varianz Partialkorrelation: rxy.z² = (rxy– rxz·ryz)² / ((1 – rxz²) · (1 – ryz²)). Semipartialkorrelation: rx(y.z)² = (rxy– rxz·ryz)² / (1 – ryz²). rx(y.z)²·Vxx Vxx (1–rxz²) ·Vxx rxz²·Vxx

Multiple Regression yi = a + b · xi + ei , y'i = a + b · xi yi = a + b1 · x1i + b2 · x2i + b3 · x3i + … + ei y'i = a + b1 · x1i + b2 · x2i + b3 · x3i + … standardisierte (z-transformierte) Variablen: n: „Standardpartialregressionskoeffizienten“ n  ryxn, z.B. 2 Prädikatoren: 1 = (ry1–ry2·r12) / (1–r12²)  ry(1.2) = (ry1–ry2·r12) /  (1–r12²) nicht standardisierte Variablen: bn = n· Sy / Sxn Multiple Korrelation: Ry,123... = ryy' R² = Anteil der insgesamt erklärten Varianz R²y,1234... = r²y1 + r²y(2.1) + r²y(3.21) + r²y(4.321) + ... bivariat: Ry,x = ryy' = |rxy|

Schrittweise Regression Y wird vorhergesagt aus k Prädiktoren Xn. Die Prädiktoren sind unterschiedlich „nützlich“: zur Erhöhung von R². Uj = R²mit j – R²ohne j (hängt von den anderen eingeschlossenen Prädikatoren ab). Vorwärts-Technik: Beginne mit 0 Prädikatoren, nimm denjenigen hinzu, der R² am meisten erhöht, bis Beitrag von Xj unterhalb eines Kriteriums. Rückwärts-Technik: Beginne mit k Prädikatoren, laß denjenigen weg, der R² am wenigsten schadet, solange Beitrag von Xj unterhalb eines Kriteriums. Kombinierte Vorwärts/Rückwärts-Technik. Abhängig von der Abfolge....

kontraintuitiv: Suppression X1 korreliert mäßig mit Y... X2 korreliert gar nicht mit Y. Trotzdem verbessert sich R², wenn X2 hinzugenommen wird. Y wird durch Merkmal A bestimmt, X1 zu 30% durch Merkmal A, zu 70% durch Merkmal B, (und korreliert daher auch nur mäßig mit Y) X2 wird durch Merkmal B bestimmt. Es gibt eine Linearkombination von X1 und X2, die allein durch Merkmal A bestimmt wird.