Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Lineare Regression 10_regression1 Gliederung Kriterium und Prädiktor Methode der kleinsten Quadrate Voraussetzungen der linearen Regression Varianzzerlegung.

Ähnliche Präsentationen


Präsentation zum Thema: "Lineare Regression 10_regression1 Gliederung Kriterium und Prädiktor Methode der kleinsten Quadrate Voraussetzungen der linearen Regression Varianzzerlegung."—  Präsentation transkript:

1 Lineare Regression 10_regression1 Gliederung Kriterium und Prädiktor Methode der kleinsten Quadrate Voraussetzungen der linearen Regression Varianzzerlegung Der Standardschätzfehler Konfidenzintervalle Kreuzvalidierung Regression zur Mitte Die lineare Regression in SPSS

2 Lineare Regression 10_regression2 Das Ziel einer linearen Regression ist die Vorhersage einer Variablen y durch eine Variable x. Eine solche Vorhersage ist nur möglich, wenn x und y miteinander korrelieren. Die vorherzusagende Variable (y) heißt Kriteriumsvariable. Die zur Vorhersage verwendete Variable (x) heißt Prädiktorvariable.

3 Lineare Regression 10_regression3 Es wird eine Gerade gesucht, die eine möglichst geringe Abweichung zu allen Punkten hat. Mit einer solchen Gerade kann zu jedem Wert von x ein Wert von y vorausgesagt werden. – x=120 y=30 – x=80 y=13

4 Lineare Regression 10_regression4 Herleitung der Linearen Regression Allgemeine Funktion für eine Gerade: wobei b für die Steigung und a für den y-Achsen-Abschitt steht. Bei der Regression schreibt man:

5 Lineare Regression 10_regression5 Methode der kleinsten Quadrate Für einen Datensatz (eine Punktewolke) werden a und b so gewählt, dass der Vorhersagefehler über alle Probanden minimal ist. Der Vorhersagefehler bezeichnet die Abweichung der vorhergesagten y-Werte von den tatsächlichen y-Werten. Der Vorhersagefehler für diese Person beträgt also 10. (Das Vorzeichen der Differenz wird nicht berücksichtigt)

6 Lineare Regression 10_regression6 Methode der kleinsten Quadrate Für die Ermittlung der Regressionsgleichung wird die Differenz der tatsächlichen von den vorhergesagten y-Werten quadriert. Diese hat zwei Vorteile: (1)Abeichungswerte sind dann immer positiv. (2)Große Abweichungen werden stärker berücksichtigt als kleine Abweichungen. Folgende Formel wird also verwendet:

7 Lineare Regression 10_regression7 Beispiel 1 Aus der Abiturnote soll die Abschlussnote eines Studierenden vorhergesagt werden.

8 Lineare Regression 10_regression8 Beispiel 1 Mithilfe der resultierenden Gleichung können für beliebige x- Werte die y-Werte geschätzt werden. Für Studienanfänger mit den Abiturnoten 1, 2, 3 und 4 würden z.B. folgende Studienabschlussnoten geschätzt:

9 Lineare Regression 10_regression9 Beispiel 2 Aus der Arbeitsmotivation soll vorhergesagt werden, wie lange ein Arbeiter zur Fertigung eines Bauteils benötigt.

10 Lineare Regression 10_regression10 Beispiel 2 Aus der Arbeitsmotivation soll vorhergesagt werden, wie lange ein Arbeiter zur Fertigung eines Bauteils benötigt. Für Studienanfänger mit den Abiturnoten 1, 2, 3 und 4 würden z.B. folgende Studienabschlussnoten geschätzt:

11 Voraussetzungen der linearen Regression 10_regression11 Folgende Voraussetzungen müssen erfüllt sein, damit eine lineare Regressionsanalyse berechnet werden darf: (1)Die Variablen x und y müssen intervallskaliert sein (2)Die Variablen x und y müssen normalverteilt sein. (3)Die Homoskedastizität der Variablen muss gegeben sein.

12 Güte der Vorhersage Bei einer Vorhersage ist natürlich nicht nur der vorhergesagte Wert sondern auch die Qualität der Vorhersage wichtig. Der wahre Wert der Variable y setzt sich aus dem vorhergesagten Wert und einem Residuum (Fehler) zusammen: bzw. Dies gilt auch für die Mittewerte: 10_regression12

13 Varianzzerlegung Nach dem Varianzadditionssatz gilt: Für die Regression ergibt sich: Residuen und vorhergesagte Werte sind unkorreliert, also zerlegt sich die Varianz von y folgendermaßen: 10_regression13 nicht-erklärbare Varianz aufgeklärte Varianz

14 Der Standardschätzfehler Weiter gilt: Also: 10_regression14 nicht-erklärbare Varianz aufgeklärte Varianz

15 Der Standardschätzfehler Die Standardabweichung der Residuen wird als Standard- schätzfehler bezeichnet. Der Standardschätzfehler ist die Wurzel der nicht aufgeklärten Varianz: Als Populationsschätzer: 10_regression15

16 Der Standardschätzfehler Wovon hängt der Standardschätzfehler ab? Je größer die Streuung des Kriteriums, desto größer der Standardschätzfehler. Je größer die Streuung des Prädiktors, desto kleiner der Standardschätzfehler. Je größer die Korrelation zwischen Prädiktor und Kriterium, desto kleiner ist der Standardschätzfehler. 10_regression16

17 Konfidenzintervalle Der Standardschätzfehler ist ein Maß dafür, wie stark die wahren y-Werte von den vorhergesagten Werten abweichen. Mit Hilfe des Standardschätzfehlers kann ein Vertrauensintervall um einen vorhergesagten Wert berechnet werden (s.u.). 10_regression17

18 Konfidenzintervalle Ein Konfidenzintervall (Vertrauensintervall) ist ein Bereich, in dem ein wahrer Wert mit einer vorgegebenen Wahrschein- lichkeit liegt. Mit Hilfe der Standardnormalverteilung wird zunächst der z-Wert für die gewählte Wahrscheinlichkeit (p =.95) bestimmt. 10_regression18 Aus der Tabelle: z(p=0.025) = z(p=0.975)= 1.96

19 Konfidenzintervalle Bei einer normalverteilten Variablen liegen also 95% aller Werte in einem Bereich von Mittelwert ± 1.96 Standardabweichungen. Weil die Standardabweichung der Residuen bekannt ist (der Standardschätzfehler), kann nun Konfidenzintervall berechnet werden: 10_regression19 bzw.

20 Konfidenzintervalle Beispiel 1 – Fortsetzung Standardschätzfehler: 10_regression20

21 Konfidenzintervalle Beispiel 1 – Fortsetzung Für N=50 ergibt sich ein Populationsschätzer von: 10_regression21

22 Konfidenzintervalle Beispiel 1 – Fortsetzung Das 95%-Konfidenzintervall berechnet sich als: Damit ergibt sich für folgende Konfidenzintervalle: 10_regression22

23 Konfidenzintervalle Beispiel 2 – Fortsetzung Standardschätzfehler: 10_regression23

24 Konfidenzintervalle Beispiel 2 – Fortsetzung Für N=20 ergibt sich ein Populationsschätzer von: 10_regression24

25 Konfidenzintervalle Beispiel 2 – Fortsetzung Das 95%-Konfidenzintervall berechnet sich als: Damit ergibt sich für folgende Konfidenzintervalle: 10_regression25

26 Kreuzvalidierung Die Regressionsgleichung wird immer mit Hilfe einer Stichprobe erstellt, von denen die Prädiktoren und die Kriterien bekannt sind. Es stellt sich jedoch die Frage nach der Generalisierbarkeit (externe Validität), d.h. ob eine Vorhersage des Kriteriums anhand der Regressionsgleichung auch für Personen gültig ist, die nicht zu der ursprünglichen Stichprobe gehörten. Die externe Validität einer Regressionsanalyse kann mit der so genannten Kreuzvalidierung erfolgen 10_regression26

27 Kreuzvalidierung Definition: Die Kreuzvalidierung ist ein Verfahren zur Überprüfung der externen Validität einer Regressions- gleichung. Es wird dabei die Gültigkeit der Gleichung für eine Stichprobe überprüft, die nicht zur Ermittlung dieser Gleichung verwendet wurde. Es werden also zwei Stichproben benötigt! – Entweder werden zwei getrennte Stichproben S 1 und S 2 erhoben – Oder es wird nur eine Stichprobe erhoben, die zufällig in zwei Teilstichproben aufgeteilt wird. 10_regression27

28 Kreuzvalidierung Vorgehen: (1)Berechnung der Regressionsgleichung R 1 anhand der Stichprobe S 1. (2)Anwendung der Regressiongleichung R 1 auf die zweite Stichprobe S 2. (3)Vergleich der vorhergesagten Kriteriumswerte mit den wahren Kriteriumswerten in S 2. Das gleiche Verfahren kann natürlich auch umgekehrt durchgeführt werden; dann wird die Gleichung aus S 2 auf S 1 angewendet (daher Kreuzvalidierung). 10_regression28

29 Kreuzvalidierung Kreuzvalidierungen sind wichtig, da Regressionskoeffizienten häufig stichprobenabhängig sind. Die Entscheidung, welche Abweichung noch zu tolerieren ist, ist jedoch nicht eindeutig festgelegt. Abhilfe liefern multivariate Strukturgleichungsmodelle (z.B. die Auswertungssoftware AMOS), die in dieser Veranstaltung jedoch nicht besprochen werden. 10_regression29

30 Regression zur Mitte Für eine Prognose wird oft die aktuelle Ausprägung eines Merkmals zum Zeitpunkt (t0) verwendet, um die künftige Ausprägung des selben Merkmals zu einem späteren Zeitpunkt (t1) vorherzusagen (Autoregression) Es findet also eine Messwiederholung statt. Beispiele: Schulleitung zum Ende der 4. Klasse und Noten im Gymnasium Depressivität am Beginn und am Ende einer Therapie 10_regression30

31 Regression zur Mitte In diesem Fällen kommt es zum Effekt der Regression zur Mitte (regression to the average). Der Effekt sagt vorher, dass viele Probanden, die zum Zeitpunkt t 0 besonders extreme Merkmalsausprägungen hatten, zum Zeitpunkt t 1 durchschnittlichere Ausprägungen aufweisen. Daher besteht für Probanden … mit hohen Werten zu t 0 eine erhöhte Wahrscheinlichkeit dafür, dass sich die Merkmalsausprägung bis t 1 verringert. mit niedrigen Werten zu t 0 eine erhöhte Wahrscheinlichkeit dafür, dass sich die Merkmalsausprägung bis t 1 erhöht. 10_regression31

32 Regression zur Mitte 10_regression32

33 Regression zur Mitte 10_regression33 Wenn nun aus dem Wert y 1 die Veränderung Δy vorhergesagt werden soll, ergibt sich daher in der Regel ein negatives Regressionsgewicht, z.B.: Dies wird als Regression zur Mitte bezeichnet. Das negative Regressionsgewicht kann jedoch ein rein methodisches Artefakt sein und sollte daher nicht inhaltlich interpretiert werden.

34 Regression zur Mitte 10_regression34 Der Effekt der Regression zur Mitte muss auch dann berücksichtigt werden, wenn für eine Mehrfachmessung Personen ausgewählt werden, deren Werte zu Zeitpunkt 1 auffällig hoch oder gering sind. Beispiel: – Für Schüler mit auffällig niedrigen Werten in einem Test zur sozialen Kompetenz (Vorhermessung) wird ein entsprechendes Training durchgeführt. – Nach 6 Monaten wird das Training evaluiert (Nachhermessung). – Allein aufgrund statistischer Effekte ist zu erwarten, dass die auffälligen Schüler in der Nachhermessung besser abschneiden als in der Vorhermessung.

35 Die lineare Regression in SPSS 10_regression35

36 Die lineare Regression in SPSS 10_regression36

37 Die lineare Regression in SPSS Lineare Regression im Syntax: regression /dependent stat /method enter stat_k. 10_regression37

38 Die lineare Regression in SPSS 10_regression38 Modellzusammenfassung ModellRR-Quadrat Korrigiertes R- Quadrat Standardfehler des Schätzers 1,342 a,117,1082,98178 a. Einflußvariablen : (Konstante), Kenntnisse in der Statistik

39 Die lineare Regression in SPSS 10_regression39 ANOVA b Modell Quadratsum medf Mittel der QuadrateFSignifikanz 1Regression 112, ,701,001 a Residuen 853,535968,891 Gesamt 966,45997 a. Einflußvariablen : (Konstante), Kenntnisse in der Statistik b. Abhängige Variable: stat Der globale Signifikanztest: ANOVA = Analysis of Variance = Varianzanalyse Diese Ausgabe wird erst im Sommersemester besprochen!

40 Die lineare Regression in SPSS 10_regression40 Koeffizienten a Modell Nicht standardisierte Koeffizienten Standardisierte Koeffizienten TSignifikanz B Standardf ehlerBeta 1(Konstante) 15,145,48930,943,000 Kenntnisse in der Statistik,054,015,3423,564,001 a. Abhängige Variable: stat Additive Konstante (y-Achsen-Abschnitt) Regressionsgewicht Signifikanztests für die einzelnen Parameter (Test gegen 0)

41 Zusammenfassung Ziel einer linearen Regression ist die Vorhersage eines Kriteriums durch einen Prädiktor. Dazu wird eine Gerade gesucht, die zu allen Punkten einer Punktewolke eine möglichst geringe (vertikale) Distanz hat. Eine Regressionsgleichung ist durch das Regressionsgewicht (b) und den Achsenabschnitt (a) definiert. Zur Schätzung dieser beiden Parameter wird die Methode der kleinsten Quadrate verwendet. Voraussetzungen für einer Regressionsanalyse sind Intervallskalenniveau und Normalverteilung der beteiligten Variablen, sowie deren Homoskedastizität. Die Güte der Vorhersage wird durch den Standardschätzfehler angegeben. 10_regression41

42 Zusammenfassung Der Standardschätzfehler ist klein, wenn ein Kriterium mit geringer Varianz hoch mit einem Prädiktor mit großer Varianz korreliert ist. Aus dem Standardschätzfehler kann ein Konfidenzintervall für die wahren Kriteriumswerte berechnet werden. Die externe Validität gibt an, ob die Ergebnisse aus einer Stichprobe auf eine Population generalisiert werden können. Sie kann durch eine Kreuzvalidierung überprüft werden. Der Effekt der Regression zur Mitte führt zu einer negativen Korrelation einer Merkmalsausprägung zur Veränderung der Merkmalsausprägung über die Zeit. 10_regression42


Herunterladen ppt "Lineare Regression 10_regression1 Gliederung Kriterium und Prädiktor Methode der kleinsten Quadrate Voraussetzungen der linearen Regression Varianzzerlegung."

Ähnliche Präsentationen


Google-Anzeigen