Bestimmung der Regressionsgewichte in der multiplen Regression

Standardwert-Regression Versuchsperson i p Prädiktoren (UVs) Geschätzter Kriteriumswert Wert der VP i auf Prädiktor 2 Gewichtung von Prädiktor 2 Gesucht sind jetzt Werte für die Gewichte b, so daß die Abweichungen der Schätzwerte von den wahren y-Werten möglichst klein sind. Genauer: Die Gewichte sollen so gewählt werden, daß die Summe der quadrierten Abweichungen der Schätzwerte von den wahren Werten minimal wird. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

KQ-Kriterium der quadrierten Die Summe Abweichungen der Schätzwerte vom wahren Wert soll minimal werden. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

KQ-Kriterium Minimieren heißt: nach Variable ableiten, Ableitung Nullsetzen, nach Wert der Variable auflösen. Hier will man die Optimalwerte für p verschiedene Variablen finden. Daher leitet man p-mal ab: nach Variable b1, nach Variable b2 usw. Damit erhält man p Gleichungen für p Variablen. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Partiell ableiten nach b1 Eckige Klammer abgeleitet: 2 als Vorfaktor, eckige Klammer hinschreiben Ableitung der Summe gibt wieder Summe Inhalt der eckigen Klammer nachdifferenzieren nach b1. Alle anderen b`s sind Konstanten  Ableitung 0 Nur der Vorfaktor von b1 bleibt übrig. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Partiell ableiten nach b1 Das muß jetzt etwas vereinfacht werden. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Ableitung vereinfachen 1 Mit 2 dividieren; (-zi1) in die eckige Klammer einmultiplizieren Summenzeichen reinziehen Die Summe läuft immer über alle Versuchspersonen (i = 1…n). QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Ableitung vereinfachen 2 Zur Erinnerung: Ableitung durch n dividieren r1p -ry1 r11=1 r12 QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Ableitung vereinfachen 3 Was passiert, wenn wir nach b2 partiell ableiten? Durch das Einmultiplizieren von zi2 ändern sich die Indizes der Korrelationskoeffizenten: statt r11 , r12 , r23 jetzt r21 , r22 , r23 QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Ergebnis aller partiellen Ableitungen = Skript S. 68 p Gleichungen für p Unbekannte Für solche Fragen wurde die lineare Algebra entwickelt. Die Lösungsschemata sind in effizienten Computerverfahren (linpack) implementiert, das macht man nicht von Hand. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Gleichungssystem in Matrixschreibweise Vektor der Prädiktor-Kriterium- Korrelationen Matrix der Interkorrelationen der Prädiktoren Vektor der Regressionsgewichte QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006

Matrixschreibweise Was wir haben wollen, ist der b-Vektor. Da müßte man durch R dividieren. Division = Multiplikation-1 Technisch korrekt: Die Inverse der Korrelationsmatrix wird von links anmultipliziert. Die Inversion einer Matrix ist aber nicht ganz einfach. Fall für den Computer. QMA, Kapitel 4.5.2.1 Multiple Regression Sommersemester 2006