Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen

Präsentation zum Thema: "Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen"—  Präsentation transkript:

1 Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen
Kategoriale X-Variable: Geschlecht (männlich, weiblich), Ost-/West-Zugehörigkeit etc. Wir können jetzt nicht sagen „Wenn X um eine Einheit steigt, dann steigt/sinkt Y um die Steigung b“. Lösung „Konstruktion einer Dummyvariablen“. Diese weist eine Dummykodierung (0/1-Kodierung) auf z.B. der Form: Geschlecht: 0 = weiblich, 1 = männlich oder Geschlecht: 0 = männlich, 1 = weiblich Kategorie 0 = Referenzgruppe

2 Ein Beispiel: X = Geschlecht, Y = Einkommen (in 100 Euro)
Person Geschlecht (xi) original / dummysiert Monatl. Einkommen (in 100 Euro) (yi) A 1 / 0 12 B 24 C 2 / 1 14 D 26 E 18 F 28 G 32 H 16 I 30 J 20 1 bzw. 0 = weiblich (Referenzgruppe), 2 bzw. 1 = männlich

3 Das Streudiagramm: X = Geschlecht
0 = weiblich (Referenzgruppe), 1 = männlich

4 Berechnung von a und b: Person xi yi xi - (xi - )2 yi -
12 -0,5 0,25 -10 -0,5 · (-10) = 5 B 24 2 -0,5 · 2 = -1 C 1 14 0,5 -8 0,5 · (-8) = -4 D 26 4 -0,5 · 4 = -2 E 18 -4 0,5 · (-4) = -2 F 28 6 -0,5 · 6 = -3 G 32 10 0,5 · 10 = 5 H 16 -6 0,5 · (-6) = -3 I 30 8 -0,5 · 8 = -4 J 20 -2 0,5 · (-2) = -1 ∑ 5 220 2,50

5 Ergo: Interpretation: a = Frauen weisen im Durchschnitt ein Einkommen von 24,00 (in 100 Euro, also 2400 Euro) auf. b = Männer hingegen weisen ein niedrigeres Einkommen auf. Sie unterschreiten den Mittelwert der Frauen um 4,00 (in 100 Euro, also 400 Euro).

6 Das Streudiagramm im umgekehrten Fall :
0 = männlich (Referenzgruppe), 1 = weiblich

7 Berechnung von a und b: Person xi yi xi - (xi - )2 yi -
1 12 0,5 0,25 -10 0,5 · (-10) = -5 B 24 2 0,5 · 2 = 1 C 14 -0,5 -8 -0,5 · (-8) = 4 D 26 4 0,5 · 4 = 2 E 18 -4 -0,5 · (-4) = 2 F 28 6 0,5 · 6 = 3 G 32 10 -0,5 · 10 = -5 H 16 -6 -0,5 · (-6) = 3 I 30 8 0,5 · 8 = 4 J 20 -2 -0,5 · (-2) = 1 ∑ 5 220 2,50

8 Ergo: Interpretation: a = Männer weisen im Durchschnitt ein Einkommen von 20,00 (in 100 Euro, also 2000 Euro) auf. b = Frauen hingegen weisen ein höheres Einkommen auf. Sie überschreiten den Mittelwert der Männer um 4,00 (in 100 Euro, also 400 Euro).

9 Wie sieht das Ganze in SPSS aus?
Referenzgruppe = weiblich Koeffizienten (a) Modell Nicht standardisierte Koeffizienten Standardi-sierte Koeffizien-ten T Signifi-kanz 95%-Konfidenz-intervall für B B Standard-fehler Beta Unter-grenze Ober-grenze 1 (Konstante) 24,000 3,162 7,589 ,000 16,708 31,292 Geschlecht -4,000 4,472 -,302 -,894 ,397 -14,313 6,313 a Abhängige Variable: Einkommen (in 100 Euro) Referenzgruppe = männlich Koeffizienten (a) Modell Nicht standardisierte Koeffizienten Standardi-sierte Koeffizien-ten T Signifi-kanz 95%-Konfidenz-intervall für B B Standard-fehler Beta Unter-grenze Ober-grenze 1 (Konstante) 20,000 3,162 6,325 ,000 12,708 27,292 Geschlecht 4,000 4,472 ,302 ,894 ,397 -6,313 14,313 a Abhängige Variable: Einkommen (in 100 Euro)

10 Referenzgruppe „weiblich“: Referenzgruppe „männlich“:
Wir fassen zusammen: Referenzgruppe „weiblich“: Referenzgruppe „männlich“:  y’i = ∙ x  y’i = ∙ x a (Schnittpunkt mit der Y-Achse) = Mittelwert der Referenzgruppe: für Referenzgruppe (Ref.) Frau b (Steigungsparameter) = Mittelwert der Gruppe j - Mittelwert der Referenzgruppe bzw. Mittelwertsdifferenz: für Ref. Frau Ergo: a + b = Mittelwert der Gruppe j: für Ref. Frau

11 wenn D2 oder D3 = 1, dann Unterschicht = 0
Oftmals weisen kategoriale Variablen mehr als zwei Merkmals-ausprägungen auf: z.B. Schichtzugehörigkeit (Unterschicht, Mittelschicht, Oberschicht), Staatsangehörigkeit (deutsch, türkisch, griechisch etc.), Familienstand (ledig, verheiratet, geschieden etc.) Lösung „Konstruktion von mehreren Dummyvariablen“. Es werden n - 1 Dummyvariablen z.B. der Form: Mittelschicht (D2): 0 = nein, 1 = ja Oberschicht (D3): 0 = nein, 1 = ja konstruiert. Unterschicht geht nicht in die Analyse ein, da diese aus D2 und D3 eindeutig reproduzierbar ist.1 Unterschicht ist folglich die Referenzgruppe, denn: wenn D2 oder D3 = 1, dann Unterschicht = 0 wenn D2 und D3 = 0, dann Unterschicht = 1 1 Dies gilt ebenfalls für alle anderen Kategorien (Mittelschicht und Oberschicht). Zumeist wird jene Kategorie als Referenzgruppe ausgewählt, die mit der höchsten Häufigkeit vertreten ist.

12 Schichtzuge- hörigkeit (xi)
Ein Beispiel: X = Schichtzugehörigkeit Person Schichtzuge- hörigkeit (xi) original Schichtzuge- hörigkeit (xi) dummysiert Monatl. Einkommen (in 100 Euro) D1 D2 D3 A 1 12 B 2 24 C 14 D 26 E 18 F 3 28 G 32 H 16 I 30 J 20 Kodierung: 1 = Unterschicht (D1), 2 = Mittelschicht (D2), 3 = Oberschicht (D3) Unterschicht (D1) geht nicht in die Analyse ein (Referenzgruppe)

13 Referenzgruppe = Unterschicht
Wir fassen zusammen: Referenzgruppe = Unterschicht Koeffizienten (a) Modell Nicht standardisierte Koeffizienten Standardi-sierte Koeffizien-ten T Signifi-kanz 95%-Konfidenz-intervall für B B Standard-fehler Beta Unter-grenze Ober-grenze 1 (Konstante) 15,000 1,291 11,619 ,000 11,947 18,053 Mittel-schicht (D2) 8,333 1,972 ,576 4,226 ,004 3,670 12,996 Ober- schicht (D3) 1,036 7,606 10,337 19,663 a Abhängige Variable: Einkommen (in 100 Euro)  y’i = ,333 ∙ x ∙ x2 bzw. Die Konstante a = 15 entspricht dem Mittelwert des Einkommens für die Unter-schicht, die als Referenzgruppe dient. Sind also Mittelschicht und Oberschicht = 0, erhalten wir den Vorhersagewert der Unterschicht, der ihrem Mittelwert entspricht.

14 Wir sind bereits in der multiplen Regressionsanalyse angelangt!
bj (Steigungsparameter) = Mittelwert der Gruppe j - Mittelwert der Referenzgruppe bzw. Mittelwertsdifferenz: Ergo: a + bj = Mittelwert der Gruppe j: Wir sind bereits in der multiplen Regressionsanalyse angelangt! Dort haben wir es in der Regel sowohl mit metrischen als auch kategorialen X-Variablen kombiniert zu tun. Wie unterscheidet sich die einfache Regression zur multiplen Regression?

15 Unterschied - Erweiterung des einfachen Regressionsmodell
Einfache Regression: Y X Stichprobe: b0 bzw. a Stichprobe: b1 bzw. b Grundgesamtheit: β0, β1 ei = yi - y’i yi = b0 + b1 ∙ xi + ei Streudiagramm: Gerade im zweidimensionalen Raum r2 (Determinationskoeffizient) r2korr. (hier nicht relevant) r (Bivariate Korrelation) b (Regressionskoeffizient) und a Beta = r (Standardisierter b) Standardfehler für a und b F-Test, T-Test, Konfidenzint. Multiple Regression: Y X1, X2, …, Xn Stichprobe: b0 bzw. a Stichprobe: b1, b2, …, bj Grundgesamtheit: β0, β1, β2, …, βj ei = yi - y’i yi = b0 + b1 ∙ x1i + b2 ∙ x2i bj ∙ xji + ei Streudiagramm: Ebene im dreidimensionalen Raum, ab 3 X-Variablen nicht mehr vorstellbar R2 (Multipler Determinationskoeffizient) R2korr. (hier relevant) R (Multiple Korrelation) bj (Partieller Regressionskoeffizient) und a Betaj ≠ R (standardisierter partieller b) Standardfehler für a und bj F-Test, T-Test, Konfidenzintervall

16 Das Streudiagramm - Eine Ebene:
Die Grundidee der OLS-Schät-zung besteht auch hier, bj so zu wählen, dass die Summe der quadrierten Abweichungen in der Stichprobe (d.h ) so klein wie möglich wird. In verkürzter Schreibweise: bzw. y’i = ∙ x ∙ x2

17 Matrizennotation der multiplen Regression:
In den multivariaten Verfahren hat man mit großen Gleichungssystemen zu tun. Mit diesen zu rechnen, ist sehr aufwendig. Man bedient sich zur Vereinfachung der Matrizenrechnung, innerhalb derer die Gleichungs-systeme besser handhabbar sind. Beispiel: Für n Personen i (i = 1, .., n) ergibt sich bei m Variablen j (j = 1, ...., m) folgendes Gleichungssystem:

18 Darstellbar als (Regressionsgleichung der Stichprobe) mit
y = (n x 1)-Spaltenvektor, X = (n x m)-Beobachtungs-/ Messwertmatrix, b = (m x 1)-Spaltenvektor der Koeffizienten, e = (m x 1)-Spaltenvektor der Residuen Das Pendant dazu ist die Regressionsgleichung der Grundgesamtheit:

19 Ein Beispiel für eine Matrix:
Was ist eine Matrix? Wir kennen ja die Bezeichnung KorrelationsMATRIX, KovarianzMATRIX Ein Beispiel für eine Matrix:  Der erste Index gibt an, in welcher Zeile der Matrix und der zweite Index, in welcher Spalte der Matrix das Element steht. Eine rechteckige Anordnung von Elemente bzw. Zahlen aij in mehreren Zeilen und Spalten bezeichnet man als eine Matrix. Die Gesamtmatrix wird durch einen fettgedruckten Großbuchstaben (z.B. A) gekennzeichnet. Die Anzahl der Zeilen und Spalten gibt die Größe bzw. Ordnung der Matrix an. Eine (n x m)-Matrix hat n Zeilen und m Spalten. Eine (2 x 3)-Matrix umfasst also 2 Zeilen und 3 Spalten.

20 Ein weiteres Beispiel für eine Matrix:
Was ist eine Matrix? Ein weiteres Beispiel für eine Matrix:  Ihre Elemente sind z.B.: a11 = 3, a21 = -5, a23 = 4, … Was ist ein Vektor? Besteht eine Matrix aus nur einer Zeile, so bezeichnet man sie als Zeilenvektor. Es liegt eine (1 x m)-Matrix vor. Besteht eine Matrix aus nur einer Spalte, so bezeichnet man sie als Spaltenvektor. Es liegt eine (n x 1)-Matrix vor. Ein Vektor ist durch einen fetten Kleinbuchstaben gekennzeich-net, ein Zeilenvektor ist zusätzlich durch ein Apostroph gekenn-zeichnet, also bspw. a’.

21 Ein Beispiel für ein Vektor:
Was ist ein Vektor? Ein Beispiel für ein Vektor:  Zeilenvektor (Matrix der Ordnung 1 x 3)  Spaltenvektor (Matrix der Ordnung 4 x 1)

22 Spezielle Matrizen: Quadratische Matrix (z.B. Korrelationsmatrix)
Symmetrische Matrix (z.B. Kovarianzmatrix) Diagonalmatrix, da alle Nicht-Diagonalelemente gleich Null sind Einheitsmatrix (I), da alle Diagonalelemente gleich eins und Nicht-Diagonalelemente gleich Null sind (z.B. sieht man oft (I-B-1)) Skalarmatrix , da alle Diagonalelemente gleich > eins und Nicht-Diagonalelemente gleich Null sind. Diese Matrix kann ge-schrieben werden als A = k · I, k = Skalar Dreiecksmatrix, da alle Elemente entweder über (Obere Dreiecksmatrix) oder unter (Untere Dreiecksmatrix) der Hauptdiagonalen gleich Null sind.

23 Wir kommen zur multiplen Regression zurück:
Wenn man mehr als eine unabhängige Prädiktorvariable in das Regressionsmodell aufnimmt, erhält man eine multiple lineare Regression der Form (Schätzer für y-Werte): Messwert-Matrix (ist im Grunde die SPSS-Datenmatrix) Parameter-Matrix Anmerkung:

24 Y besteht aus dem Schätzwert zuzüglich eines Fehlerterms e, also:
Wir müssen uns die grundlegenden Rechenoperationen „Multiplikation und Addition“ ansehen. Hier: „Matrix ∙ Spaltenvektor“ sowie „Spaltenvektor + Spaltenvektor“

25 A B C a b’ C Multiplikation von Matrizen:
Zwei Matrizen A und B können genau dann die Produktmatrix C = A·B erzeugen, wenn die Anzahl der Spalten von A (der linksstehenden Matrix) der Anzahl der Zeilen von B (der rechtsstehenden Matrix) entspricht. Wichtig: Die Matrizenmultiplikation ist nicht kommutativ, d.h. es gilt: A(n x m) · B(m x p) = C(n x p) A B C a b’ C (2 x 3) (3 x 4) (2 x 4) (3 x 1) (1 x 2) (3 x 2) c11 = (2 · 6) + (3 · 2) + (6 · 4) = 42 c12 = (2 · 1) + (3 · 8) + (6 · 3) = 44 .... c24 = (4 · 8) + (1 · 0) + (5 · (-8)) = -8 c11 = (1 · 5) = 5 c12 = (1 · 4) = 4 .... c32 = (1 · 4) = 4

26 a’ B c’ A b c c11 = (1 · 3) + (1 · 7) + (1 · 5) = 15
(1 x 3) (3 x 2) (1 x 2) (3 x 4) (4 x 1) (3 x 1) c11 = (1 · 3) + (1 · 7) + (1 · 5) = 15 c12 = (1 · 1) + (1 · 4) + (1 · 7) = 12 c11 = (6 · 1) + (1 · 2) + (2 · 1) + (8 · 2) = 26 c21 = (2 · 1) + (8 · 2) + (6 · 1) + (0 · 2) = 24 c31 = (4 · 1) + (3 · 2) + (7 · 1) + ((-8) · 2) = 1 Die Gleichung der ersten Zeile lautet ausge-schrieben: Es resultieren so viele Einzelgleichungen wie auch Fälle (n) vorhanden sind bzw. ein (n x 1)-Zeilenvektor.

27 A B C A B C Addition und Subtraktion von Matrizen:
Die Matrizen A und B müssen die gleiche Ordnung/Größe aufweisen. Das Ergebnis der Addition bzw. Subtraktion ist die Matrix C der gleichen Ordnung wie A und B. A B C A B C (3 x 2) (3 x 2) (3 x 2) (3 x 2) (3 x 2) (3 x 2) Die Gleichung der ersten Zeile lautet ausge-schrieben: (n x 1)-Zeilenvektor

28 Und ein paar Begrifflichkeiten, die wir nicht näher erörtern können:
Zum Abschluss noch weiteres Grundlegendes: Transponieren einer Matrix Werden die Zeilen und Spalten einer (n x m)-Matrix B vertauscht, so entsteht die zu B transponierte Matrix oder die Transponierte von B. B’ ist eine (m x n)-Matrix, wenn B eine (n x m)-Matrix ist. Und ein paar Begrifflichkeiten, die wir nicht näher erörtern können: Inverse einer Matrix B/Reziprokmatrix von B: B-1 - hierbei benötigt man die Determinante der Matrix B: |B|, (Determinante sollte immer ungleich Null sein, d.h. die Matrix ist dann nicht singulär) sowie die Adjustierte Matrix von B: adj(B) und den Rang einer Matrix

29 Wir schauen und nun die Kennwerte der multiplen Regression an:
R2 (Multipler Determinationskoeffizient) R2korr. (hier relevant)  Diesen kennen wir bereits! R (Multiple Korrelation) bj (Partieller Regressionskoeffizient) und a Betaj ≠ r (standardisierter partieller b) Standardfehler F-Test, T-Test  Beide Tests unterscheiden sich zur einfachen Regression. Das wissen wir bereits! Konfidenzintervall

30 Multipler Determinationskoeffizient R2: Der Wertebereich ist [0; +1].
Der Wertebereich ist [0; +1]. Interpretation: R2 besagt, dass die Variablen X1 bis Xn .... % (R2 ∙ 100) die Variation der Variable Y linear erklären bzw. determinieren. R2 ist i.d.R immer kleiner als die Summe der einzelnen Determinations-koeffizienten, weil u.a. die Korrelation der Prädiktoren untereinander herauspartialisiert (herausgerechnet) wird (siehe im Detail Betaj). Der korrigierte R2-Wert berechnet sich unverändert:

31 Multipler Korrelationskoeffizient R:
Der Wertebereich ist weiterhin [-1; +1], wobei R in SPSS vorzeichenlos ist. R erfasst den Zusammenhang zwischen den k unabhängigen Variablen und der abhängigen Variablen. R ist ebenfalls um die Korrelationen der Prädiktoren untereinander bereinigt (siehe im Detail Betaj). Berechnet man zwischen den vorhergesagten y’-Werten und den erhobenen y-Werten eine bivariate Produkt-Moment-Korrelation, erhält man als Resultat die multiple Korrelation. Es gilt nicht wie in der einfachen linearen Regressionsanalyse unter Zugrunde-legung von z-transformierten Variablen, dass: Beta = r = cov(x,y), sondern lediglich, dass a = 0 ist.

32 Partialisierung im Drei-Variablen-Fall (X1, X2 und Y):
1) Pearson’s ryx: Korrelation ohne Partialisierung (übersetzt: Heraus-rechnung, Bereinigung) 2) Partielle Korrelation: gibt die Korrelation zwischen Y und X1 unter KONSTANTHALTUNG aller anderen Variablen (hier: X2) an. D.h. der Einfluss von X2 wird aus Y und X1 herausgerechnet (herauspartialisiert) Man berechnet die Korrelation der Regressionsresiduen, die sich aus der Regression: X2  X1 und X2  Y ergeben. Zudem: r ist maßgeblich für die Aufnahme der 1. unabhängigen Variable in der Schrittweisen Methode. Nach der partiellen Korrelation richtet sich die Aufnahme der 2., 3., 4. etc. unabhängigen Variable. Semipartielle Korrelation (ry(x1-x2)): Der Einfluss von X2 wird nur aus X1, aber nicht aus Y, herausgerechnet; ist relevant für R2 jedes einzelnen X

33 Partialisierung im Drei-Variablen-Fall (X1, X2 und Y):
Standardisierter partieller Regressionskoeffizient Betaj: gibt den Einfluss von X1 auf Y nach Herauspartialisierung des Ein-flusses aller anderen Variablen (hier: X2) an. Beta ist (1) um die Korrelation der Prädiktoren untereinander (rx1x2) sowie (2) um die Korrelation der übrigen Prädiktoren (hier: X2) mit Y (ryx2) bereinigt. Der Einfluss von X2 wird aus X1 und Y herausge-rechnet. Partieller Regressionskoeffizient bj: 

34 Regressionskonstante a bzw. b0: Bei 2 unabhängigen Variablen:
a in der einfachen Regression: Regressionskonstante a bzw. b0: Bei 2 unabhängigen Variablen: Bei 4 unabhängigen Variablen: Interpretation: a spiegelt den Erwartungswert für Y wider, unter der Bedingung, dass die X-Variablen (X1 bis Xn) den Wert Null annehmen. Beispiel: metrische und kategoriale X-Variablen, Y = Einkommen a = Erwartungswert für Y, wenn X den Wert Null annimmt (z.B. Mittelschicht = 0 und Oberschicht = 0 und Alter = 0) D.h. für Personen der Unterschicht (Code = 1) wird im Durchschnitt ein Einkommen von a erwartet, wenn sie ein Alter von 0 aufweisen (≠ Mittelwert der Referenzgruppe).

35 Beispiel: metrische und kategoriale X-Variablen, Y = Einkommen
bMittelschicht, Oberschicht = unabhängig vom Alter (unter Kontrolle/ Konstanthaltung des Alters) wird ein Anstieg/Abstieg des Einkommens bei den betrachteten Gruppen j (z.B. Mittel- und Oberschicht im Vergleich zur Referenzgruppe Unterschicht) erwartet (≠ Mittelwertsdifferenz der Gruppe j zur Referenzgruppe) bAlter = unabhängig von der Schichtzugehörigkeit (für alle 3 betrachteten Gruppen Unter-, Mittel- und Oberschicht) wird ein Anstieg/Abstieg des Einkommens bei steigendem Alter um b Einheiten erwartet

36 Standardfehler: Der Standardfehler von bj (sbj) = neu

37 Zur Erinnerung: F-Test
F-Test in der multiplen Regressionsanalyse: Die Nullhypothese H0 lautet: β1 = β2 = … = βj = 0 Die Alternativhypothese H1 lautet: mindestens ein β-Parameter ≠ 0 (β0 ist nicht eingeschlossen) Unveränderte Formel:

38 Zur Erinnerung: T-Test
T-Test in der multiplen Regressionsanalyse: Es werden so viele T-Tests durchgeführt wie auch Regressions-parameter im Modell (b0 und bj) vorhanden sind. Die Nullhypothese H0 lautet: β0 = 0, β1 = 0, …, βj = 0 Die Alternativhypothese H1 lautet: β0 ≠ 0, β1 ≠ 0, …, βj ≠ 0 Unveränderte Formel:

39 Zudem: Auch werden so viele Konfidenzintervalle berechnet wie Regressions-parameter im Modell (b0 und bj) vorhanden sind. Unveränderte Formel:

40 Darstellung der Ergebnisse in der Praxis - Ein paar Beispiele -

41 Darstellungsbeispiel I zur linearen Regressionsanalyse: Wasmer/Koch (2000: S. 272)

42 Darstellungsbeispiel II zur linearen Regressionsanalyse: Bergmann/Erb (2000: S. 428)

43 Darstellungsbeispiel III zur linearen Regressionsanalyse: Lüdemann (2000: S. 386)

44 Darstellungsbeispiel IV zur linearen Regressionsanalyse: Alba/Johnson (2000: S. 244)

45 Tabellarische Aufbereitung der Ergebnisse
Korrelationen (optional) bj und βj (Betaj), also die un- und standardisierten Regressionskoeffizienten Konstante a (uneinheitlich) Signifikanzen bzw. T-Wert (uneinheitlich), aber i.d.R.:  Erläuterung unterhalb der Tabelle platziert R2 bzw. korrigiertes (adjusted) R2 N (in Tabelle oder Text) Bei Dummyvariablen Referenzkategorie ausgewiesen