Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen Kategoriale X-Variable: Geschlecht (männlich, weiblich), Ost-/West- Zugehörigkeit.

Ähnliche Präsentationen


Präsentation zum Thema: "Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen Kategoriale X-Variable: Geschlecht (männlich, weiblich), Ost-/West- Zugehörigkeit."—  Präsentation transkript:

1 Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen Kategoriale X-Variable: Geschlecht (männlich, weiblich), Ost-/West- Zugehörigkeit etc. Wir können jetzt nicht sagen „Wenn X um eine Einheit steigt, dann steigt/sinkt Y um die Steigung b“. Lösung „Konstruktion einer Dummyvariablen“. Diese weist eine Dummykodierung (0/1-Kodierung) auf z.B. der Form:Geschlecht: 0 = weiblich, 1 = männlich oder Geschlecht: 0 = männlich, 1 = weiblich Kategorie 0 = Referenzgruppe

2 Person Geschlecht (x i ) original / dummysiert Monatl. Einkommen (in 100 Euro) (y i ) A1 / 012 B1 / 024 C2 / 114 D1 / 026 E2 / 118 F1 / 028 G2 / 132 H2 / 116 I1 / 030 J2 / 120 Ein Beispiel: X = Geschlecht, Y = Einkommen (in 100 Euro) 1 bzw. 0 = weiblich (Referenzgruppe), 2 bzw. 1 = männlich

3 Das Streudiagramm: X = Geschlecht 0 = weiblich (Referenzgruppe), 1 = männlich

4 Berechnung von a und b: Personxixi yiyi x i - (x i - ) 2 y i - (x i - ) · (y i - ) A012-0,50, ,5 · (-10) = 5 B024-0,50,252-0,5 · 2 = -1 C1140,50,25-80,5 · (-8) = -4 D026-0,50,254-0,5 · 4 = -2 E1180,50,25-40,5 · (-4) = -2 F028-0,50,256-0,5 · 6 = -3 G1320,50,25100,5 · 10 = 5 H1160,50,25-60,5 · (-6) = -3 I030-0,50,258-0,5 · 8 = -4 J1200,50,25-20,5 · (-2) = -1 ∑522002,500-10

5 Interpretation: a = Frauen weisen im Durchschnitt ein Einkommen von 24,00 (in 100 Euro, also 2400 Euro) auf. b = Männer hingegen weisen ein niedrigeres Einkommen auf. Sie unterschreiten den Mittelwert der Frauen um 4,00 (in 100 Euro, also 400 Euro). Ergo:

6 Das Streudiagramm im umgekehrten Fall : 0 = männlich (Referenzgruppe), 1 = weiblich

7 Berechnung von a und b: Personxixi yiyi x i - (x i - ) 2 y i - (x i - ) · (y i - ) A1120,50,25-100,5 · (-10) = -5 B1240,50,2520,5 · 2 = 1 C014-0,50,25-8-0,5 · (-8) = 4 D1260,50,2540,5 · 4 = 2 E018-0,50,25-4-0,5 · (-4) = 2 F1280,50,2560,5 · 6 = 3 G032-0,50,2510-0,5 · 10 = -5 H016-0,50,25-6-0,5 · (-6) = 3 I1300,50,2580,5 · 8 = 4 J020-0,50,25-2-0,5 · (-2) = 1 ∑522002,50010

8 Interpretation: a = Männer weisen im Durchschnitt ein Einkommen von 20,00 (in 100 Euro, also 2000 Euro) auf. b = Frauen hingegen weisen ein höheres Einkommen auf. Sie überschreiten den Mittelwert der Männer um 4,00 (in 100 Euro, also 400 Euro). Ergo:

9 Wie sieht das Ganze in SPSS aus? a Abhängige Variable: Einkommen (in 100 Euro) Koeffizienten (a) Modell Nicht standardisierte Koeffizienten Standardi- sierte Koeffizien- tenT Signifi- kanz 95%-Konfidenz- intervall für B B Standard -fehlerBeta Unter- grenze Ober- grenze 1(Konstante) 24,0003,1627,589,00016,70831,292 Geschlecht -4,0004,472-,302-,894,397-14,3136,313 Modell Nicht standardisierte Koeffizienten Standardi- sierte Koeffizien- tenT Signifi- kanz 95%-Konfidenz- intervall für B B Standard -fehlerBeta Unter- grenze Ober- grenze 1(Konstante) 20,0003,1626,325,00012,70827,292 Geschlecht 4,0004,472,302,894,397-6,31314,313 a Abhängige Variable: Einkommen (in 100 Euro) Referenzgruppe = männlich Referenzgruppe = weiblich Koeffizienten (a)

10 Wir fassen zusammen: a (Schnittpunkt mit der Y-Achse) = Mittelwert der Referenzgruppe: für Referenzgruppe (Ref.) Frau b (Steigungsparameter) = Mittelwert der Gruppe j - Mittelwert der Referenzgruppe bzw. Mittelwertsdifferenz: für Ref. Frau Ergo: a + b = Mittelwert der Gruppe j: für Ref. Frau Referenzgruppe „weiblich“:Referenzgruppe „männlich“:  y’ i = ∙ x  y’ i = ∙ x

11 Oftmals weisen kategoriale Variablen mehr als zwei Merkmals- ausprägungen auf: z.B. Schichtzugehörigkeit (Unterschicht, Mittelschicht, Oberschicht), Staatsangehörigkeit (deutsch, türkisch, griechisch etc.), Familienstand (ledig, verheiratet, geschieden etc.) Lösung „Konstruktion von mehreren Dummyvariablen“. Es werden n - 1 Dummyvariablen z.B. der Form: Mittelschicht (D2): 0 = nein, 1 = ja Oberschicht (D3): 0 = nein, 1 = ja konstruiert. Unterschicht geht nicht in die Analyse ein, da diese aus D2 und D3 eindeutig reproduzierbar ist. 1 Unterschicht ist folglich die Referenzgruppe, denn: –wenn D2 oder D3 = 1, dann Unterschicht = 0 –wenn D2 und D3 = 0, dann Unterschicht = 1 1 Dies gilt ebenfalls für alle anderen Kategorien (Mittelschicht und Oberschicht). Zumeist wird jene Kategorie als Referenzgruppe ausgewählt, die mit der höchsten Häufigkeit vertreten ist.

12 Ein Beispiel: X = Schichtzugehörigkeit Kodierung: 1 = Unterschicht (D1), 2 = Mittelschicht (D2), 3 = Oberschicht (D3) Unterschicht (D1) geht nicht in die Analyse ein (Referenzgruppe) Person Schichtzuge- hörigkeit (x i ) original Schichtzuge- hörigkeit (x i ) dummysiert Monatl. Einkommen (in 100 Euro) D1D2D3 A B C D E F G H I J201020

13 Wir fassen zusammen: a Abhängige Variable: Einkommen (in 100 Euro) Koeffizienten (a) Modell Nicht standardisierte Koeffizienten Standardi- sierte Koeffizien- tenT Signifi -kanz 95%-Konfidenz- intervall für B B Standard -fehlerBeta Unter- grenze Ober- grenze 1(Konstante) 15,0001,291 11,619,00011,94718,053 Mittel- schicht (D2) 8,3331,972,5764,226,0043,67012,996 Ober- schicht (D3) 15,0001,9721,0367,606,00010,33719,663  y’ i = ,333 ∙ x ∙ x 2 Die Konstante a = 15 entspricht dem Mittelwert des Einkommens für die Unter- schicht, die als Referenzgruppe dient. Sind also Mittelschicht und Oberschicht = 0, erhalten wir den Vorhersagewert der Unterschicht, der ihrem Mittelwert entspricht. Referenzgruppe = Unterschicht bzw.

14 b j (Steigungsparameter) = Mittelwert der Gruppe j - Mittelwert der Referenzgruppe bzw. Mittelwertsdifferenz: Ergo: a + b j = Mittelwert der Gruppe j: Wir sind bereits in der multiplen Regressionsanalyse angelangt! Dort haben wir es in der Regel sowohl mit metrischen als auch kategorialen X-Variablen kombiniert zu tun. Wie unterscheidet sich die einfache Regression zur multiplen Regression?

15 Unterschied - Erweiterung des einfachen Regressionsmodell Einfache Regression: Y X Stichprobe: b 0 bzw. a Stichprobe: b 1 bzw. b Grundgesamtheit: β 0, β 1 e i = y i - y’ i y i = b 0 + b 1 ∙ x i + e i Streudiagramm: Gerade im zweidimensionalen Raum r 2 (Determinationskoeffizient) r 2 korr. (hier nicht relevant) r (Bivariate Korrelation) b (Regressionskoeffizient) und a Beta = r (Standardisierter b) Standardfehler für a und b F-Test, T-Test, Konfidenzint. Multiple Regression: Y X 1, X 2, …, X n Stichprobe: b 0 bzw. a Stichprobe: b 1, b 2, …, b j Grundgesamtheit: β 0, β 1, β 2, …, β j e i = y i - y’ i y i = b 0 + b 1 ∙ x 1i + b 2 ∙ x 2i b j ∙ x ji + e i Streudiagramm: Ebene im dreidimensionalen Raum, ab 3 X-Variablen nicht mehr vorstellbar R 2 (Multipler Determinationskoeffizient) R 2 korr. (hier relevant) R (Multiple Korrelation) b j (Partieller Regressionskoeffizient) und a Beta j ≠ R (standardisierter partieller b) Standardfehler für a und b j F-Test, T-Test, Konfidenzintervall

16 Das Streudiagramm - Eine Ebene: y’ i = ∙ x ∙ x 2 Die Grundidee der OLS-Schät- zung besteht auch hier, b j so zu wählen, dass die Summe der quadrierten Abweichungen in der Stichprobe (d.h. ) so klein wie möglich wird. In verkürzter Schreibweise: bzw.

17 Matrizennotation der multiplen Regression: In den multivariaten Verfahren hat man mit großen Gleichungssystemen zu tun. Mit diesen zu rechnen, ist sehr aufwendig. Man bedient sich zur Vereinfachung der Matrizenrechnung, innerhalb derer die Gleichungs- systeme besser handhabbar sind. Beispiel: Für n Personen i (i = 1,.., n) ergibt sich bei m Variablen j (j = 1,...., m) folgendes Gleichungssystem:

18 Darstellbar als (Regressionsgleichung der Stichprobe) mit y = (n x 1)-Spaltenvektor, X = (n x m)-Beobachtungs-/ Messwertmatrix, b = (m x 1)-Spaltenvektor der Koeffizienten, e = (m x 1)-Spaltenvektor der Residuen Das Pendant dazu ist die Regressionsgleichung der Grundgesamtheit:

19 Was ist eine Matrix? Wir kennen ja die Bezeichnung KorrelationsMATRIX, KovarianzMATRIX Ein Beispiel für eine Matrix:  Der erste Index gibt an, in welcher Zeile der Matrix und der zweite Index, in welcher Spalte der Matrix das Element steht. Eine rechteckige Anordnung von Elemente bzw. Zahlen a ij in mehreren Zeilen und Spalten bezeichnet man als eine Matrix. Die Gesamtmatrix wird durch einen fettgedruckten Großbuchstaben (z.B. A) gekennzeichnet. Die Anzahl der Zeilen und Spalten gibt die Größe bzw. Ordnung der Matrix an. - Eine (n x m)-Matrix hat n Zeilen und m Spalten. - Eine (2 x 3)-Matrix umfasst also 2 Zeilen und 3 Spalten.

20 Was ist eine Matrix? Ein weiteres Beispiel für eine Matrix:  Ihre Elemente sind z.B.: a 11 = 3, a 21 = -5, a 23 = 4, … Was ist ein Vektor? Besteht eine Matrix aus nur einer Zeile, so bezeichnet man sie als Zeilenvektor. Es liegt eine (1 x m)-Matrix vor. Besteht eine Matrix aus nur einer Spalte, so bezeichnet man sie als Spaltenvektor. Es liegt eine (n x 1)-Matrix vor. Ein Vektor ist durch einen fetten Kleinbuchstaben gekennzeich- net, ein Zeilenvektor ist zusätzlich durch ein Apostroph gekenn- zeichnet, also bspw. a’.

21 Was ist ein Vektor? Ein Beispiel für ein Vektor:  Zeilenvektor (Matrix der Ordnung 1 x 3)  Spaltenvektor (Matrix der Ordnung 4 x 1)

22 Spezielle Matrizen: Quadratische Matrix (z.B. Korrelationsmatrix) Symmetrische Matrix (z.B. Kovarianzmatrix) Diagonalmatrix, da alle Nicht-Diagonalelemente gleich Null sind Einheitsmatrix (I), da alle Diagonalelemente gleich eins und Nicht-Diagonalelemente gleich Null sind (z.B. sieht man oft (I-B -1 )) Skalarmatrix, da alle Diagonalelemente gleich > eins und Nicht-Diagonalelemente gleich Null sind. Diese Matrix kann ge- schrieben werden als A = k · I, k = Skalar Dreiecksmatrix, da alle Elemente entweder über (Obere Dreiecksmatrix) oder unter (Untere Dreiecksmatrix) der Hauptdiagonalen gleich Null sind.

23 Wir kommen zur multiplen Regression zurück: Wenn man mehr als eine unabhängige Prädiktorvariable in das Regressionsmodell aufnimmt, erhält man eine multiple lineare Regression der Form (Schätzer für y-Werte): Messwert-Matrix (ist im Grunde die SPSS-Datenmatrix) Parameter-Matrix Anmerkung:

24 Y besteht aus dem Schätzwert zuzüglich eines Fehlerterms e, also: Wir müssen uns die grundlegenden Rechenoperationen „Multiplikation und Addition“ ansehen. Hier: „Matrix ∙ Spaltenvektor“ sowie „Spaltenvektor + Spaltenvektor“

25 Multiplikation von Matrizen: Zwei Matrizen A und B können genau dann die Produktmatrix C = A·B erzeugen, wenn die Anzahl der Spalten von A (der linksstehenden Matrix) der Anzahl der Zeilen von B (der rechtsstehenden Matrix) entspricht. Wichtig: Die Matrizenmultiplikation ist nicht kommutativ, d.h. es gilt: A (n x m) · B (m x p) = C (n x p) A B C (2 x 3) (3 x 4) (2 x 4) a b’ C c 11 = (2 · 6) + (3 · 2) + (6 · 4) = 42 c 12 = (2 · 1) + (3 · 8) + (6 · 3) = c 24 = (4 · 8) + (1 · 0) + (5 · (-8)) = -8 c 11 = (1 · 5) = 5 c 12 = (1 · 4) = c 32 = (1 · 4) = 4 (3 x 1) (1 x 2) (3 x 2)

26 a’ B c’ (1 x 3) (3 x 2) (1 x 2) c 11 = (1 · 3) + (1 · 7) + (1 · 5) = 15 c 12 = (1 · 1) + (1 · 4) + (1 · 7) = 12 Die Gleichung der ersten Zeile lautet ausge- schrieben: Es resultieren so viele Einzelgleichungen wie auch Fälle (n) vorhanden sind bzw. ein (n x 1)-Zeilenvektor. A b c (3 x 4) (4 x 1) (3 x 1) c 11 = (6 · 1) + (1 · 2) + (2 · 1) + (8 · 2) = 26 c 21 = (2 · 1) + (8 · 2) + (6 · 1) + (0 · 2) = 24 c 31 = (4 · 1) + (3 · 2) + (7 · 1) + ((-8) · 2) = 1

27 Addition und Subtraktion von Matrizen: Die Matrizen A und B müssen die gleiche Ordnung/Größe aufweisen. Das Ergebnis der Addition bzw. Subtraktion ist die Matrix C der gleichen Ordnung wie A und B. A B C (3 x 2) (3 x 2) (3 x 2) (n x 1)-Zeilenvektor Die Gleichung der ersten Zeile lautet ausge- schrieben:

28 Zum Abschluss noch weiteres Grundlegendes: Transponieren einer Matrix Werden die Zeilen und Spalten einer (n x m)-Matrix B vertauscht, so entsteht die zu B transponierte Matrix oder die Transponierte von B. B’ ist eine (m x n)-Matrix, wenn B eine (n x m)-Matrix ist. Und ein paar Begrifflichkeiten, die wir nicht näher erörtern können: Inverse einer Matrix B/Reziprokmatrix von B: B -1 -hierbei benötigt man die Determinante der Matrix B: |B|, (Determinante sollte immer ungleich Null sein, d.h. die Matrix ist dann nicht singulär) sowie die Adjustierte Matrix von B: adj(B) und den Rang einer Matrix

29 Wir schauen und nun die Kennwerte der multiplen Regression an: R 2 (Multipler Determinationskoeffizient) R 2 korr. (hier relevant)  Diesen kennen wir bereits! R (Multiple Korrelation) b j (Partieller Regressionskoeffizient) und a Beta j ≠ r (standardisierter partieller b) Standardfehler F-Test, T-Test  Beide Tests unterscheiden sich zur einfachen Regression. Das wissen wir bereits! Konfidenzintervall

30 Multipler Determinationskoeffizient R 2 : Der Wertebereich ist [0; +1]. Interpretation: R 2 besagt, dass die Variablen X 1 bis X n.... % (R 2 ∙ 100) die Variation der Variable Y linear erklären bzw. determinieren. Der korrigierte R 2 -Wert berechnet sich unverändert: R 2 ist i.d.R immer kleiner als die Summe der einzelnen Determinations- koeffizienten, weil u.a. die Korrelation der Prädiktoren untereinander herauspartialisiert (herausgerechnet) wird (siehe im Detail Beta j ).

31 Multipler Korrelationskoeffizient R: Der Wertebereich ist weiterhin [-1; +1], wobei R in SPSS vorzeichenlos ist. R erfasst den Zusammenhang zwischen den k unabhängigen Variablen und der abhängigen Variablen. R ist ebenfalls um die Korrelationen der Prädiktoren untereinander bereinigt (siehe im Detail Beta j ). Berechnet man zwischen den vorhergesagten y’-Werten und den erhobenen y-Werten eine bivariate Produkt-Moment-Korrelation, erhält man als Resultat die multiple Korrelation. Es gilt nicht wie in der einfachen linearen Regressionsanalyse unter Zugrunde- legung von z-transformierten Variablen, dass: Beta = r = cov(x,y), sondern lediglich, dass a = 0 is t.

32 1)Pearson’s r yx : Korrelation ohne Partialisierung (übersetzt: Heraus- rechnung, Bereinigung) 2)Partielle Korrelation: gibt die Korrelation zwischen Y und X1 unter KONSTANTHALTUNG aller anderen Variablen (hier: X2) an. D.h. der Einfluss von X2 wird aus Y und X1 herausgerechnet (herauspartialisiert) Man berechnet die Korrelation der Regressionsresiduen, die sich aus der Regression: X2  X1 und X2  Y ergeben. Zudem: r ist maßgeblich für die Aufnahme der 1. unabhängigen Variable in der Schrittweisen Methode. Nach der partiellen Korrelation richtet sich die Aufnahme der 2., 3., 4. etc. unabhängigen Variable. 3)Semipartielle Korrelation ( r y(x1-x2) ) : Der Einfluss von X2 wird nur aus X1, aber nicht aus Y, herausgerechnet; ist relevant für R 2 jedes einzelnen X Partialisierung im Drei-Variablen-Fall (X1, X2 und Y):

33 Standardisierter partieller Regressionskoeffizient Beta j : gibt den Einfluss von X1 auf Y nach Herauspartialisierung des Ein- flusses aller anderen Variablen (hier: X2) an. Partialisierung im Drei-Variablen-Fall (X1, X2 und Y): Beta ist (1) um die Korrelation der Prädiktoren untereinander (r x1x2 ) sowie (2) um die Korrelation der übrigen Prädiktoren (hier: X2) mit Y (r yx2 ) bereinigt. Der Einfluss von X2 wird aus X1 und Y herausge- rechnet. Partieller Regressionskoeffizient b j : 

34 Regressionskonstante a bzw. b 0 : Interpretation: a spiegelt den Erwartungswert für Y wider, unter der Bedingung, dass die X-Variablen (X 1 bis X n ) den Wert Null annehmen. Bei 2 unabhängigen Variablen: Bei 4 unabhängigen Variablen: Beispiel: metrische und kategoriale X-Variablen, Y = Einkommen a = Erwartungswert für Y, wenn X den Wert Null annimmt (z.B. Mittelschicht = 0 und Oberschicht = 0 und Alter = 0) D.h. für Personen der Unterschicht (Code = 1) wird im Durchschnitt ein Einkommen von a erwartet, wenn sie ein Alter von 0 aufweisen (≠ Mittelwert der Referenzgruppe). a in der einfachen Regression:

35 Beispiel: metrische und kategoriale X-Variablen, Y = Einkommen b Mittelschicht, Oberschicht = unabhängig vom Alter (unter Kontrolle/ Konstanthaltung des Alters) wird ein Anstieg/Abstieg des Einkommens bei den betrachteten Gruppen j (z.B. Mittel- und Oberschicht im Vergleich zur Referenzgruppe Unterschicht) erwartet (≠ Mittelwertsdifferenz der Gruppe j zur Referenzgruppe) b Alter = unabhängig von der Schichtzugehörigkeit (für alle 3 betrachteten Gruppen Unter-, Mittel- und Oberschicht) wird ein Anstieg/Abstieg des Einkommens bei steigendem Alter um b Einheiten erwartet

36 Der Standardfehler von b j (s bj ) = Standardfehler: neu

37 Zur Erinnerung: F-Test F-Test in der multiplen Regressionsanalyse: Die Nullhypothese H 0 lautet: β 1 = β 2 = … = β j = 0 Die Alternativhypothese H 1 lautet: mindestens ein β-Parameter ≠ 0 (β 0 ist nicht eingeschlossen) Unveränderte Formel:

38 Zur Erinnerung: T-Test T-Test in der multiplen Regressionsanalyse: Es werden so viele T-Tests durchgeführt wie auch Regressions- parameter im Modell (b 0 und b j ) vorhanden sind. Die Nullhypothese H 0 lautet: β 0 = 0, β 1 = 0, …, β j = 0 Die Alternativhypothese H 1 lautet: β 0 ≠ 0, β 1 ≠ 0, …, β j ≠ 0 Unveränderte Formel:

39 Zudem: Auch werden so viele Konfidenzintervalle berechnet wie Regressions- parameter im Modell (b 0 und b j ) vorhanden sind. Unveränderte Formel:

40 Darstellung der Ergebnisse in der Praxis - Ein paar Beispiele -

41 Darstellungsbeispiel I zur linearen Regressionsanalyse: Wasmer/Koch (2000: S. 272)

42 Darstellungsbeispiel II zur linearen Regressionsanalyse: Bergmann/Erb (2000: S. 428)

43 Darstellungsbeispiel III zur linearen Regressionsanalyse: Lüdemann (2000: S. 386)

44 Darstellungsbeispiel IV zur linearen Regressionsanalyse: Alba/Johnson (2000: S. 244)

45 Tabellarische Aufbereitung der Ergebnisse Korrelationen (optional) b j und β j (Beta j ), also die un- und standardisierten Regressionskoeffizienten Konstante a (uneinheitlich) Signifikanzen bzw. T-Wert (uneinheitlich), aber i.d.R.:  Erläuterung unterhalb der Tabelle platziert R 2 bzw. korrigiertes (adjusted) R 2 N (in Tabelle oder Text) Bei Dummyvariablen Referenzkategorie ausgewiesen


Herunterladen ppt "Einfache lineare Regressionsanalyse mit einer kategorialen X-Variablen Kategoriale X-Variable: Geschlecht (männlich, weiblich), Ost-/West- Zugehörigkeit."

Ähnliche Präsentationen


Google-Anzeigen