2. Univariate Regressionsanalyse 2.1 Das statische Regressionsmodell Ziele: Erläuterung der Grundlagen der Regressionsanalyse; Kompetenzerwerb für die Durchführung und Interpretation einer Regressionsanalyse; Verständnis der Möglichkeiten (und Grenzen) des Verfahrens;

Grundfragen Warum überhaupt Schätzungen? Welches Schätzprinzip liegt der Regressionsanalyse zugrunde? Wie werden die Koeffizienten der Regressionsgeraden berechnet? Welche Annahmen werden dabei getroffen? Welche Eigenschaften besitzt die Schätzung? Wie kann die Güte einer Regressionsschätzung beurteilt werden?

Das Schätzprinzip (1) Y X Eine einfache Darstellung eines Zusammenhangs zwischen zwei Variablen (Xi und Yi) ergibt sich, wenn jeweils zusammen- gehörige Paare von Beobachtungen als Punkte in ein Diagramm eingetragen werden („Scatterplot“). Beispiel eines Punktes: Y X

Das Schätzprinzip (2) Für mehrere Beobachtungspaare enthält man eine „Punktewolke“: Y X X

Das Schätzprinzip (3) Gesucht wird eine lineare Darstellung des Zusam- menhangs, d.h. eine Gerade; das folgende Bild zeigt die möglichen Verbindungen aller Punkte: Y X

Das Schätzprinzip (4) Das beschriebene Vorgehen ist offensichtlich nicht befriedigend; der „Zusammenhang“ zwischen den beiden Variablen erscheint völlig diffus; Das Missverständnis liegt darin, dass fälsch-licherweise von einem exakt gemessenen und nicht von einem fehlerbehafteten Zusammenhang ausgegangen wird. Anders ausgedrückt: Wir bewegen uns nicht in einer deterministischen Welt, sondern einer stochastischen.

Das Schätzprinzip (5) Ziel der Analyse ist es, genau einen linearen Zusammenhang (eine Gerade) zu bestimmen, der die in der Punktewolke enthaltene Information „möglichst gut“ beschreibt; Für die Festlegung dieser Geraden benötigen wir ein Kriterium; die gewöhnliche Kleinstquadratemethode wählt das folgende: „Bestimme die Gerade so, dass die Summe des Quadrats der vertikalen Abstände minimiert wird“.

Das Schätzprinzip (6) Y X Eine Gerade soll so gelegt werden, dass die Summe der schraffierten Flächen minimal wird; diese Gerade heißt Regressionsgerade; Y X

Signal und Rauschen Jedes Punktepaar enthält Information über den Zusammenhang; diese Information ist jedoch durch einen Störprozess verunreinigt; das „Signal“ wird durch „Rauschen“ überlagert; je stärker das „Rauschen“ ist, desto schwieriger wird es, das „Signal“ zu erkennen; je mehr Beobachtungen (Punktepaare) wir zur Verfügung haben, desto besser können wir einen Zusammenhang erkennen; falls kein Zusammenhang zwischen X und Y besteht, wird die Steigung der Regressionsgeraden gegen Null gehen; d.h. es gibt ausschließlich Rauschen, kein Signal.

Situation 1: Kein Zusammenhang zwischen X und Y Punktewolke diffus; kein Muster erkennbar; Y X

Situation 2: Positiver Zusammenhang zwischen X und Y Klares Muster (entlang einer ansteigenden Linie) erkennbar; hohes X ist mit hohem Y verbunden und vice versa; steigende Regressionsgerade Y X

Situation 3: Negativer Zusammenhang zwischen X und Y Wiederum klares Muster erkennbar; hohes X ist mit niedrigem Y verbunden und vice versa ;  fallende Regressionsgerade Y X

Grundbegriffe (1) x heißt Regressor oder unabhängige Variable; y heißt Regressand oder abhängige Variable; der vertikale Abstand von der Gerade, die den tatsächlichen Zusammenhang beschreibt, wird als stochastischer Fehler oder stochastische Störung mit e bezeichnet.

Grundbegriffe (2)

Grundbegriffe (3)

Das Grundmodell in Matrixschreibweise

Definitionen

Schätzprinzip der Kleinstquadrate-Methode: