Prof. Dr. Markus Bühner 04./ Innsbruck

Prof. Dr. Markus Bühner 04./05.7.2019 Innsbruck
Psychologische Methodenlehre & Diagnostik Multiple Regression Prof. Dr. Markus Bühner 04./ Innsbruck

Überblick Deskriptivstatistische Darstellung: Prinzip der multiplen Regression Regressionskoeffizienten multiples R2 inferenzstatistische Darstellung: Populationsmodelle der multiple Regression Inferenzstatistik für Regressionskoeffizienten Inferenzstatistik für multiples R2

Rückblick Wiederholung im Falle von zwei Variablen (bivariater Fall)
Streudiagramm Kovarianz Korrelation einfache lineare Regression

Prinzip der multiplen Regression (MR)
Prinzip und Zielsetzung der MR Verallgemeinerung der einfachen linearen Regression Unterschiede in einem Kriterium (AV) werden auf Unterschiede in mehr als einem Prädiktor (UV) zurückgeführt bzw. vorhergesagt. Ziel ist es, über Hinzunahme von mehr als einem Prädiktor die Vorhersage zu verbessern. Bestimmung des relativen Vorhersagebeitrages jedes einzelnen Prädiktors: Wie „wichtig“ ist ein Prädiktor im Kontext aller anderen Prädiktoren für die Vorhersage des Kriteriums? Bestimmung des Zusammenhangs der Prädiktorvariablen (UV) mit der Kriteriumsvariable (AV)

Exkurs Warum eigentlich nicht mehrere einfache Regressionen durchführen? Dadurch würde die mögliche Redundanz zwischen Prädiktoren nicht berücksichtigt. Beispiel: Vorhersage von Depression (DEP) durch Negative Selbstbewertung (NSB) und Abhängigkeitskognitionen (ABK).

Exkurs Warum eigentlich nicht mehrere einfache Regressionen durchführen? NSB und ABK korrelieren. Ist der Zusammenhang zwischen DEP durch NSB und ABK durch einen Teil der gemeinsamen Variation beider Variablen bedingt? Die Redundanz muss bei Bestimmung des relativen Vorhersagebeitrags der einzelnen Prädiktoren berücksichtigt werden! Die multiple Regression berücksichtigt diese Redundanzen statistisch.

Exkurs Warum eigentlich nicht mehrere einfache Regressionen durchführen? Die regressive Beziehung zwischen zwei Variablen ist womöglich durch eine Drittvariable bedingt. Beispiel: Schätzung des IQ aus Schuhgröße bei Kindern zwischen 5 und 11: Regressionsgewicht = 0.42 Hinzunahme des Prädiktors „Alter“: Regressionsgewicht für Schuhgröße = 0.00 PROBLEM: KAUSALITÄT Wie kommen wir nun von der einfachen linearen Regression zum Ansatz der multiplen linearen Regression?

Prinzip der multiplen Regression (MR)
Verallgemeinerung des einfachen linearen Regressionsmodells Der Ansatz der einfachen linearen Regression mit einem Prädiktor wird erweitert zum Ansatz mit k Prädiktoren: mit i = 1,…,n (= Personenindex) j = 1,…,k (= Prädiktorenindex) Das heißt, jeder beobachtete Wert Y einer beliebigen Person i setzt sich aus einer Konstante A (Achsenabschnitt) plus der Summe gewichteter (Bj) Prädiktorwerte Xij und einem Residuum Ei zusammen. (1.1)

Multiple Regression mit 2 Prädiktoren: Visualisierung
Wie können wir uns die multiple Regression visualisieren? Einfache lineare Regression (k = 1): Gerade im zweidimensionalen Koordinatensystem Bei k = 2 Prädiktoren Regressionsfläche im dreidimensionalen {X1, X2, Y} Raum Bei k > 2 nicht mehr visualisierbar (mehr als drei Dimensionen) Zum einfacheren Verständnis im Folgenden Darstellung der MR mit k = 2 Prädiktoren:

Multiple Regression mit 2 Prädiktoren: Visualisierung
Visualisierung der MR-Fläche mit zwei Prädiktoren

Multiple Regression mit 2 Prädiktoren: Least-Squares-Prinzip
Wie finden wir nun die Regressionsgewichte A, B1 und B2? Wie bei der einfachen linearen Regression wenden wir die Methode der kleinsten Quadrate (Least-Squares) an. D.h. A, B1 und B2 müssen so gewählt werden, dass die Summe der quadrierten Residuen minimal wird. Das Residuum ist im Fall der MR mit zwei Prädiktoren definiert als: Vertikale Distanz zwischen dem beobachteten Wert Yi und dem korrespondierenden gefitteten Wert auf der Regressionsfläche Gefordert wird also, dass folgende Funktion S an der Stelle A, B1, B2 minimal wird (1.2) (1.3)

Multiple Regression mit 2 Prädiktoren: Regressionskoeffizienten
Die Lösung der Extremwertaufgabe ergibt, dass die Funktion S(A,B1,B2) bei folgenden Werten für A, B1 und B2 minimal ist (Ableitung s. Hayes, 1988, S.628f.): wobei B1S und B2S stellen dabei die standardisierten Regressionsgewichte dar.  diese standardisierten Regressionsgewichte erhält man, wenn die Prädiktor- und Kriteriumswerte z-standardisiert werden (1.4) (1.7) (1.5) (1.8) (1.6) Hayes, W.L. (1988). Statistics, 4th edition; Holt, Rinehart, & Winston, New York

Multiple Regression mit 2 Prädiktoren: Interpretation
Wie interpretiert man die Regressionskoeffizienten einer multiplen Regression? Aus der einfachen linearen Regression kennen wir folgende Interpretation: Achsenabschnitt A: vorhergesagter Wert in Y, wenn Prädiktor den Wert null annimmt Steigung B: vorhergesagte Veränderung in Y, wenn Prädiktor sich um eine Einheit verändert In der MR interpretiert man die Regressionskoeffizienten wie folgt: Achsenabschnitt A: vorhergesagter Wert in Y, wenn alle Prädiktoren den Wert null annehmen Steigungen Bj: vorhergesagte Veränderung in Y, wenn sich Prädiktor j um eine Einheit verändert und alle übrigen Prädiktoren konstant bleiben  beantwortet Frage: Wie groß ist der Einfluss eines Prädiktors, wenn man um den Einfluss aller anderen Prädiktoren statistisch kontrolliert (d.h. diese konstant hält)?

Interpretation der Regressionskoeffizienten am Beispiel : Können irrationale Einstellungen das Phänomen Depression erklären? AV (BDI): Anzahl der Punkte im Beck-Depressions-Inventar (Testverfahren, das die Schwere depressiver Symptomatik im klinischen Bereich erfasst). UV 1 (NSB): Einschätzung der negativen Selbstbewertung (Skala des Fragebogens zur Erfassung irrationaler Einstellungen). Beispielsitem: „Ich denke oft, ich bin ein Versager“ UV 2 (ABK): Einschätzung der Abhängigkeitskognitionen (Skala des Fragebogens zur Erfassung irrationaler Einstellungen) Beispielsitem: „Ich brauche es, dass Leute mich mögen“ Regressionsanalytischer Ansatz: Vorhersage der Schwere der Depression in Abhängigkeit der irrationalen Einstellungen, die mithilfe der Variablen negative Selbstbewertung und Abhängigkeitskognition erfasst wurden. Prädiktoren: NSB (X1) und ABK (X2)

Regressionsfläche ist flach (da lineare Regression)  egal von welchem Wert für NSB man die Steigung von ABK betrachtet, überall ist sie gleich  Einfluss (Steigung) von NSB unabhängig von ABK; Analoges gilt für ABK

Regressionskoeffizienten am Beispiel interpretiert BNSB = 0,77 Hält man die Werte auf der Skala negative Selbstbewertung konstant, geht eine Veränderung um einen Skalenpunkt auf der Skala negative Selbstbewertung bei mit einem durchschnittlichen Anstieg von 0,77 Punkten im BDI einher. BABK = 0,11 Hält man die Werte auf der Skala negative Selbstbewertung konstant, geht eine Veränderung um einen Skalenpunkt auf der Skala Abhängigkeitskognitionen mit einem durchschnittlichen Anstieg von 0,77 Punkten im BDIs einher.

Multiple Regression: Standardisierte Regressionskoeffizienten
Bereits bei einfacher linearer Regression kann man zwischen unstandardisierten und standardisierten Regressionsgewichten unterscheiden: Interpretation standardisiertes Regressionsgewicht BS: durchschnittliche Veränderung in , wenn sich X um eine Standardabweichung verändert (1.9)

Prinzip der Standardisierung lässt sich auch auf MR anwenden Dies ist dann relevant, wenn man Regressionsgewichte der Prädiktoren vergleichen will. Welcher der k Prädiktoren ist der relativ stärkste Prädiktor? Bei unstandardisierten Regressionsgewichten ist dies meist nicht möglich, weil auf verschiedenen Metriken gemessen wird. Beispiel: Prädiktoren: Ausbildungsjahre und IQ-Test Kriterium: Einkommen pro Jahr (1 Einheit = 1000 €) BAusbildungsjahre = 2 BIQ = 1 Jedes zusätzliche Ausbildungsjahr würde im Durchschnitt vorhergesagt 2000 € mehr im Jahr bringen. Jeder zusätzliche IQ-Punkt würde im Durchschnitt vorhergesagt 1000€ mehr im Jahr bringen. Wegen der unterschiedlichen Metrik kann man aber nicht sagen, dass die Ausbildungsjahre für die Vorhersage des Einkommens wichtiger als der IQ sind.

Überlegung zur Standardisierung Haben Prädiktoren unterschiedliche Metriken ist relativer Vergleich der Prädiktoren über Regressionskoeffizienten nicht möglich  unterschiedliche Einheiten Hätte jeder Prädiktor dieselbe Einheit wäre ein relativer Vergleich der Prädiktoren möglich Eine Standardisierung der Prädiktoren führt dazu, dass die standardisierten Variablen eine neue Metrik erhalten  Standardabweichungen Eine Standardabweichung erhält den Wert 1 und zwei Standardabweichungen den Wert 2 usw. Nun ist es möglich die Prädiktoren in ihrer Wichtigkeit direkt miteinander zu vergleichen Ein Prädiktor ist gegenüber einem anderen Prädiktor dann „wichtiger“, wenn dieser bei einem Zuwachs von einer Einheit (1 SD) zu einem größeren Zuwachs in der Kriteriumsvariable (in SD Einheiten) führt als der andere Prädiktor bei Zuwachs um eine Einheit (1 SD) Nur sinnvoll, wenn Prädiktoren symmetrisch verteilt, weil dann SD interpretierbar

Standardisierte Regressionsgewichte BjS bei MR mit zwei Prädiktoren: Berechnung und Interpretation am Beispiel: Einfluss von irrationalen Einstellungen auf die Schwere der Depression (1.10)

Die Veränderung um eine Standardabweichung in NSB, kontrolliert um ABK, geht mit einer Erhöhung des vorhergesagten BDI-Werts um 0.68 Standardabweichungen einher. Die Veränderung um eine Standardabweichung in ABK, kontrolliert um NSB, geht mit einer Erhöhung des vorhergesagten BDI-Werts um Standardabweichungen einher.

Multiple Regression: multiples R
Beurteilung des multiplen R und des multiplen Determinationskoeffizienten R2 Wie bei der einfachen linearen Regression lässt sich die Größe des linearen Zusammenhangs zwischen der AV und den UVs durch einen Korrelations- bzw. Determinationskoeffizienten bestimmen: R: multiple Korrelation (Korrelationskoeffizient) R2: multipler Determinationskoeffizient (aufgeklärter Varianzanteil) Wozu braucht man R/R2, wenn man bereits Bj bestimmt hat? R und R2 stellen globale Maße des Zusammenhangs bzw. der aufgeklärten Variation dar. beantwortet Frage: Wie viel Variation erklären alle k Prädiktoren insgesamt in der AV? Die Regressionsgewichte Bj hingegen stellen Koeffizienten dar, die die relative „Wichtigkeit“ der Prädiktoren angeben, wenn die Korrelation unter den Prädiktoren berücksichtigt wird. Beantworten Frage: Wie wichtig ist ein Prädiktor für die Vorhersage der Y-Werte?

Multiple Regression: multiples R2
Prinzip des multiplen Determinationskoeffizienten R2: Quadratsummenzerlegung Die Quadratsummenzerlegung in der MR ist analog zu derjenigen in der einfachen linearen Regression:

Prinzip des multiplen Determinationskoeffizienten R2: Quadratsummenzerlegung Die Quadratsummenzerlegung in der MR ist analog zu derjenigen in der einfachen linearen Regression: (1.11)  systematische Abweichungsquadrate (1.12)  unsystematische Abweichungsquadrate (1.13)

Definition des multiplen Determinationskoeffizienten R2 Der multiple Determinationskoeffizient ist definiert als Verhältnis der durch die Regression erklärten Variation in Y zur Gesamtvariation in Y: Die multiple Korrelation R ist dann definiert als die positive Quadratwurzel aus R2. R kann auch interpretiert werden als die einfache Korrelation zwischen den gefitteten Werten und den beobachteten Werten Y. (1.14*) Letzter Punkt: ob r_xy oder ryy-Dach, macht also kein Unterschied: r_xy = r_yy-Dach (1.15*)

Adjustiertes R2 R2 aus Stichprobe ist kein erwartungstreuer Schätzer der für multiples Rho2. Man stelle sich z.B. vor: 2 = 0 R2 kann nicht kleiner null werden! Stichproben-R2 werden aber sehr selten null sein, häufiger > 0  R2 kein unverzerrter Schätzer Daher berichten viele Statistik-Programme das adjustierte R2. stets kleiner als R2 (sind in der Regel zu wenig adjustiert) (1.16) “R and R2 typically overestimate their corresponding population values, especially with small samples” (Mertler & Vannatta, 2002, p. 177). The reason is that adding another predictor variable naturally increases the size of R as an artifact, even though the increase is not meaningful. Indeed, the expected R2 is k/(n-1), even if the actual multiple correlation coefficient is 0 (Morrison, 1976)

R2 und R am Beispiel 51.8% der der Unterschiede im BDI Wert werden durch Unterschiede in den NSB- und ABK-Werten erklärt. Die Korrelation zwischen den gefitteten und beobachteten Y-Werten beträgt ca

R2 als Effektstärke R² ist daher der Anteil der Kriteriumsvarianz, der auf die Prädiktoren zurückgeführt werden kann  Determinationskoeffizient = gemeinsamer Varianzanteil R² Effektstärke als Daumenregel: R² ≥ .02  kleiner Effekt R² ≥ .13  moderater Effekt R² ≥ .26  starker Effekt 51,8% der der Unterschiede im BDI-Wert werden durch Unterschiede in den NSB- und ABK-Werten erklärt  starker Effekt

R2 veranschaulicht anhand Venn-Diagramm einer Varianzzerlegung Determinationskoeffizient: Varianzaufklärung in einfacher linearer Regression nur mit Prädiktor 1: Kriterium Y BDI Prädiktor 1 bzw. X1 NSB a a = .511

R2 veranschaulicht anhand Venn-Diagramm einer Varianzzerlegung Determinationskoeffizient: Varianzaufklärung in einfacher linearer Regression nur mit Prädiktor 2: Kriterium Y BDI Prädiktor 2 bzw. X2 NSB b a=.136

R2 veranschaulicht anhand Venn-Diagramm einer Varianzzerlegung (2 Prädiktoren) ; : einzigartige Vorhersagebeiträge; beachte: Redundanz „c“ ist subtrahiert : durch beide Prädiktoren zusammen erklärter Varianzanteil in Y ; : jeweilige Determinationskoeffizienten der Prädiktoren mit Kriterium Y : Varianzanteil in Y, der nur durch Prädiktor 1 bedingt ist (= quadrierte semipartielle Korrelation) : Varianzanteil in Y, der nur durch Prädiktor 2 bedingt ist (= quadrierte semipartielle Korrelation) Y e Beachte: „c“ kennzeichnet redundanten Anteil, also das, was X1 und X2 jwls. gemeinsam am Kriterium haben Bachte auch bezüglich semipartieller Korr.^2: Es ist nicht a‘ + c/(a‘+b‘+c+e), denn dann wäre Redundanz noch im Zähler enthalten. a‘ b' Prädiktor 2 c Prädiktor 1 d

R2 veranschaulicht anhand Venn-Diagramm einer Varianzzerlegung (2 Prädiktoren) BDI BDI NSB NSB ABK ABK b‘=.006 a‘=.382 R2 = a‘ + b´+ c=.518 c = .13 d=.136 Beachte: „c“ kennzeichnet redundanten Anteil, also das, was X1 und X2 jwls. gemeinsam am Kriterium haben Bachte auch bezüglich semipartieller Korr.^2: Es ist nicht a‘ + c/(a‘+b‘+c+e), denn dann wäre Redundanz noch im Zähler enthalten.

Eine wichtige Definition von R2 Es besteht eine direkte Beziehung zwischen R2 und der Semipartialkorrelation höherer Ordnung. Bei zwei Prädiktoren X1 und X2 gilt: d.h. erklärte Varianz in Y setzt sich zusammen aus Anteil erklärter Varianz von X1 plus Varianzanteil, den X2 über erklärten Varianzanteil von X1 hinaus erklärt Reihenfolge spielt für Höhe von R2 keine Rolle, es gilt äquivalent: für drei Prädiktoren: allgemein bei k Prädiktoren: (1.17) Das multiple R2 lässt sich darstellen als Summe der Quadrate der Korrelation nullter Ordnung und Semipartialkorrelationen zunehmend höherer Ordnung. Jeder Prädiktor wird dabei um denjenigen Varianzanteil bereinigt (residualisiert), den er mit den übrigen Prädiktoren gemeinsam hat. Somit leistet jeder Prädiktor einen Vorhersagebeitrag, der über denjenigen der übrigen Prädiktoren hinausgeht.

Multiple Regression: Standardschätzfehler SE
Standardschätzfehler SE in der MR Neben R2 existiert ein weiteres und anschaulicheres Präzisionsmaß. Wie in der einfachen linearen Regression lässt sich der Standardschätzfehler als „durchschnittliches“ (d.h. typisches) Residuum definieren. wenn Vorhersage von Y-Werten relevant, ist SE oft das informativere Maß gegenüber R2 SE beantwortet die Frage danach, wie groß typischer/„durchschnittlicher“ Vorhersagefehler mit den gewählten Prädiktoren ist (1.18)

Multiple Regression: Standardschätzfehler SE
SE am Beispiel n = 191  Der typische/„durchschnittliche“ Vorhersagefehler beträgt hier ± 7,85 Punkte bezogen auf den Kriteriumswert (= BDI).

Inferenzstatistische Darstellung: MR in der Population
Die bisherige Darstellung diente der Beschreibung von Daten einer Stichprobe. Meist ist man aber an der Schätzung von Regressionsparametern und R2 in der Population interessiert. Dann ergibt sich das statistische Modell der MR nach: (1.19*)

Annahmen der regressionsanalytischen Modelle
Wie bei der einfachen linearen Regression gehen wir vom Modell mit fixen Faktoren aus. Das Modell der MR mit festen Faktoren basiert auf folgenden fünf Annahmen: Der Erwartungswert der Fehler ist null: ; äquivalente Aussage: Die Variable Y und Variable X hängen linear zusammen. Konstante Varianz bzw. Homoskedastizität der Fehler Normalverteilung der Fehler Unabhängigkeit der Beobachtungen; äquivalente Aussage: Die Fehler und mit sind voneinander unabhängig. Kein Xj ist perfekt linear aus den übrigen k - 1 vorhersagbar  Keine Kollinearität

2. Konstante Varianz (= Homoskedastizität) der Fehler

2. Konstante Varianz (= Homoskedastizität) der Fehler Zusammenhang: Quadratisch Ein stark schief verteilter Prädiktor; Zusammenhang monoton steigend Ein schwach schief verteilter Prädiktor; Zusammenhang monoton steigend Zusammenhang: Polynom dritten Grades

3. Normalverteilung der Fehler

4. Unabhängigkeit der Beobachtungen; äquivalente Aussage: Die Fehler und sind voneinander unabhängig Die Werte des Kriteriums müssen unabhängig voneinander sein. Das heißt, dass sie von unabhängigen Personen (Pi) stammen. Personen innerhalb einer Abteilung (PAi, PCi, PCi) ähnlicher als Personen zwischen den Abteilungen. Methode um Unabhängigkeit zu prüfen ICC

5. Kein Xj ist perfekt linear aus den übrigen k - 1 vorhersagbar  keine perfekte Kollinearität (Multi-)Kollinearität: Zwei oder mehr erklärende Prädiktoren weisen eine sehr starke Korrelation miteinander auf z.B. r > 0.85 Keine Korrelation von 1 notwendig um Probleme zu verursachen. Es reichen zwei Prädiktoren aus, um Probleme zu verursachen. Multikollinearität: hohe lineare Abhängigkeit zwischen mehr als 2 Prädiktoren Folgen der (Multi-)Kollinearität ungenaue Schätzungen für Bj  Erkennt man an hohen Standardfehlern der standardisierten Regressionsgewichte Ist die geschätzte Standardabweichung der Stichprobenkennwerteverteilung von Bj groß, fällt auch die Variation der Schätzungen für  zwischen Zufallsstichproben groß aus und führt zu ineffizienten Schätzungen Es ergeben sich t-Statistiken um 0 für die standardisierten Regressionskoeffizienten Bj und breite Konfidenzintervalle für die standardisierten Regressionskoeffizienten Bj Eine von mehreren mögliche Folgen: Omnibustest signifikant, aber Bj insignifikant

Wie entdeckt man (Multi-)Kollinearität? Ausgangspunkt für die Identifizierung von (Multi-)Kollinearität ist der Standardfehler für Bj: Rj2 entspricht dem multiplen R2 zwischen Prädiktor j und den k - 1 übrigen Prädiktoren Je größer Rj2, desto größer wird der Standardfehler. Extremfall: Für Rj2 = 1 wird der Standardfehler unendlich hoch. Anhand der Formel sieht man, dass der erste Term eine entscheidende Rolle spielt, der auch als Variance Inflation Factor (VIF) bezeichnet wird. Die Varianz der Stichprobenkennwerteverteilung von Bj ist auch durch den VIF beeinflusst, sie wird groß bei einem hohen VIF  ineffiziente Schätzung, breite KIs

Interpretation von VIF? Wenn Rj2 dem Wert 0 entspricht beträgt der VIF 1 Wenn der VIF 1 ist korrelierten die Prädiktoren nicht. Der Ausgangszustand bei VIF = 1 ist der Zustand unkorrelierter Prädiktoren. VIF = Anstieg der Varianz der Stichprobenkennwerteverteilung von Bj im Vergleich zu unkorrelierten Prädiktoren

Interpretation von VIF? Einfachere Interpretation: Wurzel von VIF : Um welchen Faktor ist der Standardfehler von Bj im Vergleich zum Standardfehler bei unkorrelierten Prädiktoren höher? Ein Regressionsmodell mit 3 Prädiktoren liegt vor. Es sei VIF(B1) = 5.27  5 = 2,3  Standardfehler für B1 ist 2,3-mal größer als im Fall völliger unkorrelierter Prädiktoren.

Ab welchem VIF liegt kritische Kollinearität vor? Marquardt (1970) empfiehlt VIF > 10  10 = 3.16  3,16-mal höherer Standardfehler im Vgl. zu unabhängigen Prädiktoren (VIF = 10 entspricht Rj = ,95) Fox (2008) empfiehlt VIF > 4  4 = 2  zweimal höherer Standardfehler im Vgl. zum Standardfehler bei unabhängigen Prädiktoren (VIF = 4 entspricht Rj  ,86) Meine Empfehlung: Machen Sie nichts, solange keine Probleme auftreten!

Inferenzstatistische Testung von MR-Parametern
Zur Erinnerung Zur inferenzstatistischen Absicherung von Regressionsparametern benötigen wir in der einfachen linearen Regression: Stichprobenkennwerteverteilung der Regressionsparameter Varianz der Stichprobenkennwerteverteilung zur Bestimmung des Standardfehlers eines Parameters Die Stichprobenkennwerteverteilungen für Regressionsparameter A und B einer Normalverteilung mit unbekannter Varianz folgen  Prüfverteilungen für A und B folgen somit einer t-Verteilung Die standardisierte Teststatistik ergab sich dann nach Für den Fall, dass , ergab sich der empirische t-Wert nach

Inferenzstatistische Testung von MR-Parametern
Standardfehler für Steigungskoeffizienten Bj * Standardfehler (Standardabweichung der Stichprobenkennwerteverteilung) des Steigungskoeffizienten Bj ist gegeben durch wobei : multiples R2 zwischen Prädiktor j und den k - 1 übrigen Prädiktoren neuer Term im Vgl. zum der einfachen linearen Regression: (Varianz-Inflationsfaktor) Verständnisfragen Was passiert, wenn steigt? Was ist , wenn k = 2? Was passiert, wenn sinkt? (1.20) *: in der Praxis meist Interesse an Hypothesen bez. βk, selten bez. α (Achsenabschnitt/Intercept), daher im Folgenden nur Darstellung für βk

Inferenzstatistische Testung von MR-Parametern: βj
Berechnung Signifikanztest für H0: β0 = 0 Anhand des lässt sich ein Signifikanztest mit einer t-verteilten Prüfgröße mit df = n - k - 1 durchführen. standardisierte Teststatistik: Für den Fall, dass , ergibt sich der empirische t-Wert nach Berechnung anhand des Beispiels: (1.21*)

Berechnung des zweiseitigen Konfidenzintervalls für H0: β0 = 0 mit df = n - k - 1 KI bezogen auf das Beispiel: NSB: ABK: (1.22)

SPSS-Beispiel: zweiseitiges Konfidenzintervall und Signifikanztests für H0: β0 = 0 Interpretation der Konfidenzintervalle?

Inferenzstatistische Testung von MR-Parametern: Ρ2
Testung der Nullhypothese, dass alle Regressionssteigungen null sind Omnibus-Nullhypothese (globale Nullhypothese)  beantwortet Frage, ob UVs insgesamt einen Beitrag zur Erklärung der Varianz in der AV leisten Korrespondierende Alternativhypothese für mindestens ein βj

Inferenzstatistische Testung von MR-Parametern: R2
Zur H0 existiert eine Prüfstatistik, die einer F-Verteilung mit df1 = k Zähler- und df2 = n - k - 1 Nennerfreiheitsgraden folgt: Entscheidungsregel: Lehne H0 ab, wenn (1.25)

Notwendigkeit der Kreuzvalidierung
Zur Regressionsanalyse ist anzumerken, dass die Aufstellung des Modells und der Fit (R2) des Modells nicht am selben Datensatz vorgenommen werden sollten: Empfehlung: Datensatz teilen und dann am ersten Datensatz Modell aufstellen und am zweiten Modell-Fit berechnen

SPSS-Beispiel

Ein gegenintuitives Hypothesentestergebnis Es kann passieren, dass man die Omnibushypothese ablehnt, aber keine der Einzelhypothesen Man prüft mit R2 = 0 eine andere Hypothese als mit β1 = 0 Kollinearität hängt von der Differenz der der Korrelationen zwischen den Prädiktoren und dem Kriterium ab und vor allem von der Korrelation unter den Prädiktoren c a´ b´

Illustration: Omnibustest signifikant, Einzeltests insignifikant Ursache: sehr hohe Prädiktorkorrelation  sehr hoch  insignifikante Einzeltests

Prof. Dr. Markus Bühner 04./ Innsbruck

Ähnliche Präsentationen

Präsentation zum Thema: "Prof. Dr. Markus Bühner 04./ Innsbruck"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback

Anmelden

Anmeldung über soziales Netzwerk:

Prof. Dr. Markus Bühner 04./ Innsbruck

Ähnliche Präsentationen

Präsentation zum Thema: "Prof. Dr. Markus Bühner 04./ Innsbruck"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback