Multivariate Statistische Verfahren Multiple Korrelation und das Problem der Kollinearitäten Universität Mainz Institut für Psychologie WS 2011/2012 Uwe Mortensen

Multiple Regression

Multiple Regression

Multiple Regression

Multiple Regression: Eigenschaften der Schätzungen

Multiple Regression: Eigenschaften der Schätzungen

Zwischenbetrachtung: Vektormultiplikation Spaltenvektor mal Zeilenvektor ergibt eine Matrix, deren Elemente keine Skalarprodukte sind, sondern einfach Produkte von Komponenten! Diese Art des Produkts kann auf die Darstellung von Matrizen, insbesondere symmetrischer Matrizen angewendet werden:

Zwischenbetrachtung: Vektormultiplikation Matrizen! Summe von Matrizen!

Zwischenbetrachtung: Vektormultiplikation Spur = Summe der Diagonalmatrix Konsequenzen: nächste Folie!

Multiple Regression: Eigenschaften der Schätzungen Zur Interpretation: hinter dieser Aussage verbirgt sich ein mathematischer Sachverhalt, der für die Interpretation von Ergebnissen von Bedeutung ist. Ist X‘X eine n-mal-n-Matrix, so gibt es maximal n von Null verschiedene Eigenwerte. Läßt sich kein (Zeilen- oder Spalten-)Vektor von X durch die anderen Vektoren „vorhersagen‘ (dh als Linearkombination berechnen), so sind alle Eigenwerte von Null verschieden, andernfalls ist mindestens einer von ihnen gleich Null. (Einen Nachweis dieser Behauptung findet man im Skript über Vektoren+Matrizen)

Multiple Regression: Eigenschaften der Schätzungen Bei einer Datenmatrix läßt sich wegen der „Messfehler“ niemals ein Vektor exakt durch andere voraussagen, also sind stets alle Eigenwerte ungleich Null. Aber es kann Abhängigkeiten geben, die sich durch Regressionsgleichungen beschreiben lassen („Kollinearitäten“). Diese Abhängigkeiten bewirken, dass einige Eigenwerte zwar nicht exakt gleich Null, aber eben klein werden lassen.

Multiple Regression: Eigenschaften der Schätzungen

Multiple Regression: Eigenschaften der Schätzungen Standardisierte Gewichte bei hohen Prädiktorkorrelationen und geringer Fallzahl (0h, 154 Fälle): Koeffizienten (Gewichte) werden (Absolutbetrag) zu groß!

Entzerrung der Schätzungen: Regularisierung Tychonoff-Regularisierung bewirkt Verkleinerung („Shrinkage“) der verzerrten Schätzungen! Alternative Shrinkage-Methode: PCA-Regression