12 Das lineare Regressionsmodell

Präsentation zum Thema: "12 Das lineare Regressionsmodell"—  Präsentation transkript:

1 12 Das lineare Regressionsmodell

2 12 Das lineare Regressionsmodell
12.1 Einfaches lineares Regressionsmodell ___ Grundmodell und KQ-Methode ___ Statistisches Grundmodell ___ Herleitung der KQ-Schätzer ___ Eigenschaften der empirischen KQ-Regression ___ Bestimmtheitsmaß und Standardfehler der Regression ___ Modellannahmen und theoretische KQ-Regression ___ Ensembles von Modellannahmen ___ Theoretische KQ-Regression ___ Verteilungstheoretische Grundlagen ___ Verteilungen der KQ-Schätzer ___ Konsistenz und Effizienz der KQ-Schätzer ___ 2

3 12 Das lineare Regressionsmodell
Schätzung der Varianzen der KQ-Schätzer ___ Verteilungen der Inferenzstatistiken ___ Schätzen und Testen ___ Konfidenzintervalle und Tests ___ Spezialfall: Binärer Regressor ___ Adäquatheit bestimmter Modellannahmen ___ Fallbeispiel 1: Bewässerung und Wachstum ___ Fallbeispiel 2: Klassengröße und Lernerfolg ___ 12.2 Einführung in das multiple lineare Regressionsmodell ___ Partielle lineare KQ-Regression ___ Empirische partielle Regression ___ Theoretische partielle Regression ___ 3

4 12 Das lineare Regressionsmodell
Verbindung von Empirie und Theorie ___ Multiple lineare KQ-Regression ___ Empirische multiple Regression ___ Theoretische multiple Regression ___ Verbindung von Empirie und Theorie ___ Statistische Modelle und Inferenz ___ Fallbeispiele ___ Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs ___ Fallbeispiel 3: Gewicht und Geschlecht ___ Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle ___ 4

5 12.1 Einfaches lineares Regressionsmodell
Grundmodell und KQ-Methode Statistisches Grundmodell ● Hintergrund ●

6 12.1 Einfaches lineares Regressionsmodell
● Definition ● ● Interpretation ●

7 12.1 Einfaches lineares Regressionsmodell
Herleitung der KQ-Schätzer ● Lösung des empirischen Kleinste-Quadrate-Problems ●

8 12.1 Einfaches lineares Regressionsmodell

9 12.1 Einfaches lineares Regressionsmodell

10 12.1 Einfaches lineares Regressionsmodell
● Der Fall einer nicht eindeutigen Lösung ●

11 12.1 Einfaches lineares Regressionsmodell
● Übersetzung in eine Schätzmethode ●

12 12.1 Einfaches lineares Regressionsmodell
Eigenschaften der empirischen KQ-Regression ● Übersicht ●

13 12.1 Einfaches lineares Regressionsmodell
● Die KQ-Gerade geht durch den Schwerpunkt ●

14 12.1 Einfaches lineares Regressionsmodell
● Die Summe der gefitteten Werte ist gleich der Summe der y-Werte ●

15 12.1 Einfaches lineares Regressionsmodell
● Die Summe der KQ-Residuen ist gleich 0 ●

16 12.1 Einfaches lineares Regressionsmodell
● KQ-Residuen und x-Werte sind unkorreliert ● ● Gefittete Werte und KQ-Residuen sind unkorreliert ●

17 12.1 Einfaches lineares Regressionsmodell
● Es gilt die Streuungszerlegungsformel ●

18 12.1 Einfaches lineares Regressionsmodell
Bestimmtheitsmaß und Standardfehler der Regression

19 12.1 Einfaches lineares Regressionsmodell

20 12.1 Einfaches lineares Regressionsmodell
● Beispiel ●

21 12.1 Einfaches lineares Regressionsmodell

22 12.1 Einfaches lineares Regressionsmodell

23 12.1 Einfaches lineares Regressionsmodell
● Standardfehler der Regression ● ● Beispiel ●

24 12.1 Einfaches lineares Regressionsmodell
Modellannahmen und theoretische KQ-Regression Ensembles von Modellannahmen ● Modell KN: Nichtstochastischer Regressor ●

25 12.1 Einfaches lineares Regressionsmodell

26 12.1 Einfaches lineares Regressionsmodell
● Modell KS: Stochastischer Regressor ●

27 12.1 Einfaches lineares Regressionsmodell

28 12.1 Einfaches lineares Regressionsmodell
● Beispiel : Bivariate Normalverteilung ●

29 12.1 Einfaches lineares Regressionsmodell
● Modell BH: Bedingt heteroskedastischer Fehler ●

30 12.1 Einfaches lineares Regressionsmodell

31 12.1 Einfaches lineares Regressionsmodell
● Modell UHV: Heterogen verteilte Stichprobenvariablen ●

32 12.1 Einfaches lineares Regressionsmodell

33 12.1 Einfaches lineares Regressionsmodell
● Zusammenfassung ●

34 12.1 Einfaches lineares Regressionsmodell
● Alternativ auch (Xi, Ui) statt (Xi, Yi) ● ● Sonstige Verallgemeinerungen ●

35 12.1 Einfaches lineares Regressionsmodell
Theoretische KQ-Regression ● Hintergrund ● ● Definition und Eigenschaften ●

36 12.1 Einfaches lineares Regressionsmodell

37 12.1 Einfaches lineares Regressionsmodell
● Zusammenhang zur Modellgeraden in den Modellen KS und BH ● ● Zusammenhang zur Modellgeraden in den Modellen KN und UHV ●

38 12.1 Einfaches lineares Regressionsmodell
Verteilungstheoretische Grundlagen Verteilungen der KQ-Schätzer ● Alternative Darstellungen der KQ-Schätzer ●

39 12.1 Einfaches lineares Regressionsmodell

40 12.1 Einfaches lineares Regressionsmodell
● Verteilung der KQ-Schätzer im Modell KN ●

41 12.1 Einfaches lineares Regressionsmodell
Achsenabschnitts

42 12.1 Einfaches lineares Regressionsmodell
● Verteilung der KQ-Schätzer im Modell KS ●

43 12.1 Einfaches lineares Regressionsmodell
● Verteilung des KQ-Schätzers für β1 im Modell BH ●

44 12.1 Einfaches lineares Regressionsmodell

45 12.1 Einfaches lineares Regressionsmodell

46 12.1 Einfaches lineares Regressionsmodell

47 12.1 Einfaches lineares Regressionsmodell

48 12.1 Einfaches lineares Regressionsmodell

49 12.1 Einfaches lineares Regressionsmodell

50 12.1 Einfaches lineares Regressionsmodell
● Verteilung des KQ-Schätzers für β0 im Modell BH ● ● Verteilung der KQ-Schätzer im Modell UHV ●

51 12.1 Einfaches lineares Regressionsmodell
Konsistenz und Effizienz der KQ-Schätzer ● Konsistenz der KQ-Schätzer ● ● Effizienz der KQ-Schätzer und Gauß-Markov-Theorem ●

52 12.1 Einfaches lineares Regressionsmodell
Schätzung der Varianzen der KQ-Schätzer ● Hintergrund ●

53 12.1 Einfaches lineares Regressionsmodell
● Schätzung der Varianzen im klassischen Fall ●

54 12.1 Einfaches lineares Regressionsmodell
● Schätzung der Varianzen im Modell BH ● ● Schätzung der Varianzen im Modell UHV ●

55 12.1 Einfaches lineares Regressionsmodell
Verteilungen der Inferenzstatistiken ● Hintergrund ● ● Verteilungen im klassischen Modell ● ● Verteilungen in den Modellen BH und UHV ●

56 12.1 Einfaches lineares Regressionsmodell
Schätzen und Testen Konfidenzintervalle und Tests ● Herleitung von Konfidenzintervallen ● ● Konstruktion von Tests ●

57 12.1 Einfaches lineares Regressionsmodell
● Zusammenfassung ●

58 12.1 Einfaches lineares Regressionsmodell

59 12.1 Einfaches lineares Regressionsmodell

60 12.1 Einfaches lineares Regressionsmodell
● Äquivalenz der Tests auf β1 = 0 und ρXY = 0 ●

61 12.1 Einfaches lineares Regressionsmodell
Spezialfall: Binärer Regressor ● Hintergrund ● ● Interpretation der Regressionskoeffizienten ●

62 12.1 Einfaches lineares Regressionsmodell
● KQ-Schätzer bei binärem Regressor ●

63 12.1 Einfaches lineares Regressionsmodell
● Varianzschätzer bei binärem Regressor ●

64 12.1 Einfaches lineares Regressionsmodell
● Äquivalenz der Inferenz bezüglich β1 und 1  0 ● ● Tests über 1  0 auch bei stochastischen Gruppenumfängen ●

65 12.1 Einfaches lineares Regressionsmodell
Adäquatheit bestimmter Modellannahmen ● Hintergrund ● ● Noch vor den eigentlichen Annahmen: Repräsentativität ●

66 12.1 Einfaches lineares Regressionsmodell

67 12.1 Einfaches lineares Regressionsmodell
● Linearitätsannahme ● ● Stochastischer oder nichtstochastischer Regressor ● ● Messfehlerprobleme ● ● Unabhängigkeitsannahme ● ● E(Ui | Xi) = 0 und OVB-Problem ●

68 12.1 Einfaches lineares Regressionsmodell
● E(Ui | Xi) = 0, Messfehler- und Endogenitätsproblem ● ● Cov(Xi, Ui) = 0 lässt sich nicht anhand der KQ-Residuen prüfen ●

69 12.1 Einfaches lineares Regressionsmodell
● Homoskedastischer oder heteroskedastischer Fehler ● ● Normalverteilungsannahme ● ● Identisch oder heterogen verteilt ● ● Technische Annahmen ●

70 12.1 Einfaches lineares Regressionsmodell
● Fazit und Empfehlung ●

71 12.1 Einfaches lineares Regressionsmodell
Fallbeispiel 1: Bewässerung und Wachstum ● Hintergrund ●

72 12.1 Einfaches lineares Regressionsmodell
● Modell KN: Diskussion der Modellannahmen ●

73 12.1 Einfaches lineares Regressionsmodell
● Berechnung ● ● Ergebnisse und Interpretation ●

74 12.1 Einfaches lineares Regressionsmodell
Fallbeispiel 2: Klassengröße und Lernerfolg ● Hintergrund ●

75 12.1 Einfaches lineares Regressionsmodell

76 12.1 Einfaches lineares Regressionsmodell

77 12.1 Einfaches lineares Regressionsmodell
● Modell BH: Diskussion der Modellannahmen ● ● Berechnung ● ● Ergebnisse und Interpretation ●

78 12.1 Einfaches lineares Regressionsmodell

79 12.2 Einführung in das multiple lineare Regressionsmodell
Partielle lineare KQ-Regression Empirische partielle Regression ● Hintergrund ● ● Beispiel : Empirische partielle Regression ●

80 12.2 Einführung in das multiple lineare Regressionsmodell

81 12.2 Einführung in das multiple lineare Regressionsmodell

82 12.2 Einführung in das multiple lineare Regressionsmodell

83 12.2 Einführung in das multiple lineare Regressionsmodell

84 12.2 Einführung in das multiple lineare Regressionsmodell
● Zusammenfassung und Formelapparat ●

85 12.2 Einführung in das multiple lineare Regressionsmodell

86 12.2 Einführung in das multiple lineare Regressionsmodell
● Empirische Verzerrung ● ● Erweiterung auf höherdimensionale Fälle ●

87 12.2 Einführung in das multiple lineare Regressionsmodell
Theoretische partielle Regression ● Zusammenfassung und Formelapparat ●

88 12.2 Einführung in das multiple lineare Regressionsmodell

89 12.2 Einführung in das multiple lineare Regressionsmodell
● Bedingte und partielle Korrelation ● ● Erweiterung auf höherdimensionale Fälle ● ● Theoretische Verzerrung ●

90 12.2 Einführung in das multiple lineare Regressionsmodell
Verbindung von Empirie und Theorie ● Grundlagen ● ● Konsistente Schätzungen bei der partiellen Regression ● ● Asymptotische Verzerrung ● ● Erweiterung auf höherdimensionale Fälle ●

91 12.2 Einführung in das multiple lineare Regressionsmodell
Multiple lineare KQ-Regression Empirische multiple Regression ● Motivation und Überblick ● ● Definition ●

92 12.2 Einführung in das multiple lineare Regressionsmodell
𝒙 𝒊𝟏 , 𝒙 𝒊𝟐 ,…, 𝒙 𝒊𝒑

93 12.2 Einführung in das multiple lineare Regressionsmodell

94 12.2 Einführung in das multiple lineare Regressionsmodell
● Eigenschaften der empirischen multiplen KQ-Regression ● ● Bestimmtheitsmaß und Standardfehler der Regression ●

95 12.2 Einführung in das multiple lineare Regressionsmodell
● Zusammenhang zur empirischen partiellen Regression ● ● Beispiel fortgesetzt ●

96 12.2 Einführung in das multiple lineare Regressionsmodell
Theoretische multiple Regression ● Definition ●

97 12.2 Einführung in das multiple lineare Regressionsmodell
● Eigenschaften der theoretischen multiplen KQ-Regression ●

98 12.2 Einführung in das multiple lineare Regressionsmodell
● Theoretisches Bestimmtheitsmaß und theoretischer Standardfehler ● ● Zusammenhang zur theoretischen partiellen Regression ●

99 12.2 Einführung in das multiple lineare Regressionsmodell
Verbindung von Empirie und Theorie

100 12.2 Einführung in das multiple lineare Regressionsmodell
Statistische Modelle und Inferenz ● Hintergrund ● ● Statistisches Grundmodell ●

101 12.2 Einführung in das multiple lineare Regressionsmodell
● Interpretation ● ● Ensembles von Modellannahmen ●

102 12.2 Einführung in das multiple lineare Regressionsmodell
● Keine Multikollinearität ● ● Modellimmanente Eigenschaften ● ● Theoretische Regressionsebene = theoretische KQ-Regressionsebene ●

103 12.2 Einführung in das multiple lineare Regressionsmodell
● Schätzen und Testen ●

104 12.2 Einführung in das multiple lineare Regressionsmodell

105 12.2 Einführung in das multiple lineare Regressionsmodell
● Adäquatheit von Modellannahmen und OVB ● ● OVB im 3-Variablen-Fall ●

106 12.2 Einführung in das multiple lineare Regressionsmodell
● Direkte und indirekte Effekte und Merkregeln ●

107 12.2 Einführung in das multiple lineare Regressionsmodell
● Streuungszerlegung und General-F-Test ●

108 12.2 Einführung in das multiple lineare Regressionsmodell
Fallbeispiele Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs

109 12.2 Einführung in das multiple lineare Regressionsmodell

110 12.2 Einführung in das multiple lineare Regressionsmodell

111 12.2 Einführung in das multiple lineare Regressionsmodell
Fallbeispiel 3: Gewicht und Geschlecht

112 12.2 Einführung in das multiple lineare Regressionsmodell

113 12.2 Einführung in das multiple lineare Regressionsmodell

114 12.2 Einführung in das multiple lineare Regressionsmodell
Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle ● Einfache Regression mit binärem Regressor ●

115 12.2 Einführung in das multiple lineare Regressionsmodell

116 12.2 Einführung in das multiple lineare Regressionsmodell
● Einfache ANOVA-Modelle ●

117 12.2 Einführung in das multiple lineare Regressionsmodell