Multivariate Statistische Verfahren Universität Mainz Institut für Psychologie WS 2011/2012 Uwe Mortensen

Multivariate Verfahren Wozu multivariate Statistik, und was ist das überhaupt? Multivariate Verfahren

Multivariate Verfahren Georg Wilhelm Friedrich Hegel 27. August 1770 – 14.November 1831 Das Wahre ist das Ganze. Das Ganze aber ist nur das durch seine Entwicklung sich vollendende Wesen. Es ist von dem Absoluten zu sagen, dass es wesentlich Resultat, dass es erst am Ende das ist, was es in Wahrheit ist; und hierin eben besteht seine Natur, Wirkliches, Subjekt oder Sichselbstwerden zu sein. (Aus der Vorrede zur Phänomenologie des Geistes) Multivariate Verfahren

Multivariate Verfahren „Variablen“ „objektive“ „subjektive“ „physikalische“ Umgebung Psychischer Zustand Sozio-ökonomische Bedingung Fähigkeit Physiologische Größen Ansichten, Meinungen etc etc Multivariate Verfahren

Multivariate Verfahren explorieren „schließen“ Klassifizieren/diskriminieren „Strukturen“ Multivariate Verfahren

Multivariate Verfahren Multiple Regression Faktorenanalyse/ Hauptachsentransformation Diskrimination-Klassifikation Kanonische Korrelation Korrespondenzanalyse (Kontingenztabellen) Multivariate Verfahren

Multivariate Verfahren Latente Variable Überblick 1. Multiple Regression: Gegeben ist eine Menge von etwa p Prädiktorvariablen, anhand derer eine abhängige Variable y „vorhergesagt“ werden soll 2. Faktorenanalyse Ziel: Die Beziehungen (Kovarianzen zwischen einer größeren Anzahl gemessener Variablen durch die Wirkung einer kleineren Anzahl „latenter“, voneinander unabhängiger Variablen zu erklären. 3. Diskriminanzanalyse Ziel: Suche nach einer Gewichtung beobachtbarer Merkmale („Symptome“) zum Zweck optimaler Kategorisierung. 4. Kanonische Korrelation Ziel: Die Kanonische Korrelation ist eine Verallgemeinerung der multiplen Regression; es sollen die latenten Strukturen zweier verschiedener Variablensätze (oder des gleichen Variablensatzes in einer Vorher-Nachher-Messung) miteinander verglichen werden. 5. Korrespondenzanalyse Ziel: Die Identifikation latenter Strukturen, die die Zusammenhänge in einer Kontingenztabelle erklären („Faktorenanalyse von Häufigkeiten“) Multivariate Verfahren Multivariate Verfahren

Multivariate Verfahren Multiple Regression Multivariate Verfahren

Multivariate Verfahren Multiple Regression Multivariate Verfahren

Multivariate Verfahren Multiple Regression Multivariate Verfahren

Multivariate Verfahren Multiple Regression Multivariate Verfahren

Multivariate Verfahren Vorbereitende Betrachtungen zur Motivation Ein simples Beispiel: Körpergewicht als Funktion der Körperlänge: Das übliche Regressionsmodell: K-Gewicht = a K-Länge + b + e e = „Fehler“ (unabhängig von der K-Länge) Aber das Gewicht hängt sicher noch von weiteren Faktoren ab: Stoffwechsel (genetisch, epigenetisch. etc) Bewegung Essgewohnheiten (kulturelle, psychische Einflüsse Alle diese Effekte (plus reine Messfehler, etwa beim Ablesen der Waage) definieren den „Fehler“. Gibt es eine Möglichkeit, die physische Erscheinung eines Menschen durch eine minimale Menge voneinander unabhängiger Eigenschaften auszudrücken? Multivariate Verfahren

Multivariate Verfahren Vorbereitende Betrachtungen zur Motivation Übergang von korrelierenden Koordinaten (Körperlänge, Körpergewicht) zu nicht korrelierenden Koordinaten (Körpergrösse, Stoffwechsel) Formal: Koordinatentransformation bzw. Rotation des ursprünglichen Koordinatensystems! Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Vektoren: Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Matrix Vektor Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Vektoren: Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Vektoren: Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Standardisierung: Multivariate Verfahren

Multivariate Verfahren Vektoren und Matrizen I Skalarprodukt und der Winkel zwischen den Vektoren Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter IIIa Wechseln zu Vektoren und Matrizen ! Multivariate Verfahren

Multivariate Verfahren Faktorenanalyse – Hauptachsentransformation (PCA) als Approximation (multiple Regression) (Faktorenmodell) Multivariate Verfahren

Multivariate Verfahren

Multivariate Verfahren Beispiel: Evaluation einer Vorlesung Multivariate Verfahren

Multivariate Verfahren Zusammenfassung der Daten in einer Matrix Fragen: Spalten Zeilen: Personen Korrelationen: Multivariate Verfahren

Multivariate Verfahren Faktorenanalyse: Hauptkomponenten Multivariate Verfahren

Multivariate Verfahren Faktorenanalyse: Hauptkomponenten Start- bzw. Standardlösung Rotation (Interpretation) (WS 2003/2004) Multivariate Verfahren

Multivariate Verfahren WS 2004/2005 Multivariate Verfahren

Multivariate Verfahren Weiteres zum Faktorenmodell: die PCA-Approximation Das Faktorenmodell: i – Person j – Test, gemessene Variable Multivariate Verfahren

Multivariate Verfahren Approximation: die Hauptachsentransformation (Principal Component Analysis – PCA) Plausibilitätsbetrachtungen I: zwei Variable – Körperlänge (X1) und Körpergewicht (X2) Multivariate Verfahren

Multivariate Verfahren

Multivariate Verfahren Plausibilitätsbetrachtungen II: Abweichungen des Gewichts von der Vorhersage ist „zufällig“: Menge der Nahrungsaufnahme am Vortag Zeitpunkt der Messung (vor oder nach dem Frühstück) Sport am Vortag oder kein Sport etc etc etc 2. Aber es gibt auch systematische Aspekte: unabhängig von der Körperlänge variieren Stoffwechselintensität Sozioökonomischer Status, formale Bildung: Fritten versus haute cuisine etc etc Multivariate Verfahren

Multivariate Verfahren Plausibilitätsbetrachtungen III: Es war: Der „Fehler“ wird durch die zufällige Variation der latenten Variablen L2 erklärt. (Hinweis: mehr als zwei latente Variable können hier nicht betrachtet werden, obwohl mehr als zwei solche Variable wirksam sein können. ) Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter I Vorhersage der gemessenen Variablen anhand der (hypothetischen) latenten Variablen. Aber die latenten Variablen müssen ja anhand der gemessenen Variablen berechnet werden! Daher: Die Antwort findet man leicht, wenn man den Marizenkalkül heranzieht! Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter II Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter III Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter IV Damit ist das Problem, die latenten Variablen zu bestimmen, im Prinzip gelöst. Multivariate Verfahren

Multivariate Verfahren Zusammenfassung der Überlegungen: unbekannt Multivariate Verfahren

Multivariate Verfahren

Multivariate Verfahren Interpretation der SVD Ausprägung der i-ten Person auf den latenten Dimensionen. Ausprägung des j-ten Tests auf den latenten Dimensionen. Merke: es gibt keinen Fehlerterm!!! Multivariate Verfahren

Multivariate Verfahren Bestimmung der Parameter IV Man berechnet also die Eigenvektoren und Eigenwerte von X‘X und bestimmt damit die latenten Vektoren L. Die Transformationen von X nach L und umgekehrt von L nach X werden durch zueinander inverse Matrizen bewirkt. Fragen: Welche Eigenschaften hat die Lösung (Eindeutigkeit etc), und Wie ist diese Lösung zu interpretieren? Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: Rotation und Reduktion Das Modell: Daten in X werden durch latente Variablen L erklärt. Berechnung der latenten Variablen aus den Daten. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: Rotation und Reduktion I - Rotation Konfiguration der Personen im (Zahlen) Raum der korrelierten gemessenen Variablen. Konfiguration der Personen im Raum der unkorrelierten latenten Variablen. Rotation Man beachte: maximale Ausdehnung der Konfiguration längs der ersten Achse L1, zweitgrößte Ausdehnung bezüglich L2! Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: Rotation und Reduktion II - Reduktion Ist die Variation der Punkte bezüglich der L2-Achse klein, kann man annehmen, dass diese Variation nur „Fehler“ repräsentiert. Dann muß nur eine latente Variable, L1, ange-nommen werden. Dies ist die „Reduktion“. Anmerkung: L1 ist nicht notwendig identisch mit der Regressionsgraden! Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: formale Bedeutung der Eigenvektoren I Ellipsen. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: formale Bedeutung der Eigenvektoren II Rotation von Ellipsen Nicht achsenparallel: achsenparallel: Gesucht: Transformationsmatrix T derart, dass x = Ty Aber die Vektoren y definieren eine achsenparallele Ellipse, also muß T‘MT = N eine Diagonalmatrix sein! Welche Orientierung haben die Eigenvektoren? Dann folgt aber, dass T die Matrix der Eigenvektoren von M ist, und N enthält die zugehörigen Eigenwerte! Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: formale Bedeutung der Eigenvektoren III Orientierung der Eigenvektoren von M: T Die Eigenvektoren der symmetrischen Matrix M haben die gleiche Orientierung wie die Hauptachsen der durch M definierten Ellipse! Daher die Rede von der ‚Hauptachsentransformation‘. Multivariate Verfahren

Multivariate Verfahren Transformationsmatrix im Fall einer Ellipse (2-dimensionaler Fall) Kennt man den Winkel, kann man T explizit angeben. Andererseits ist der Winkel im Allgemeinen nicht bekannt. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: formale Bedeutung der Eigenvektoren VI C = X‘X bzw. R = Z‘Z sind symmetrische Matrizen und definieren deshalb stets ein Ellipsoid! Die Orientierung der Eigenvektoren von C bzw. R entsprechen den Orientierungen der durch C bzw. R definierten Ellipsoide. Die Matrix der Eigenvektoren von C bzw. R definiert die Transformation (Rotation) des achsenparallelen in ein nicht achsenparalleles Ellipsoid. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen I Vorbetrachtung: Die Singularwertzerlegung (SVD) von X. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen II Die SVD: Die SVD ist ein Satz der linearen Algebra mit zentraler Bedeutung für die multivariate Statistik. Jede Matrix X kann in dieser Weise zerlegt werden. Implikationen für die Analyse psychologischer Daten? Die Spaltenvektoren von Q sind die Eigenvektoren von XX‘, d.h. sie sind orthogonal und auf die Länge 1 normiert. Die Spaltenvektoren von Q charakterisieren die Personen, die von P charakterisieren die gemessenen Variablen (wie gleich gezeigt wird). Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIa Die Datenmatrix: Rohwerte, Abweichungen vom Mittelwert (Kovarianzen), oder z-Werte (Korrelationen) Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIb Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIc Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IId Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen III Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IV Die Ladungen dienen als Koordinaten der Variablen im Raum der latenten Variablen, - die latenten Variablen werden über Cluster von Variablen interpretiert. Beispiel: Evaluation Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VI Ladungen, Korrelationen, und die Schätzung der Anzahl latenter Variablen Gibt es n Variablen, werden immer n Eigenvektoren und damit n latente Variablen berechnet. Die „wahre“ Anzahl latenter Variablen wird im Allgemeinen Aber kleiner sein: s < n, und die n – s mit den kleineren Eigenwerten repräsen- tieren nur Fehler oder „Rauschen“. Man hat dann die folgende Abschätzung Für die Korrelationen: Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VII Zur Bedeutung der Eigenwerte: Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VIII Zur Bedeutung der Eigenwerte: Ein Eigenwert repräsentiert die Varianz der Projektionen der Personen bzw der Variablen auf die entsprechende Dimension. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IX Eigenwerte und Anzahl der latenten Dimensionen: Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IX Personen im Raum der lat. Variablen Scree-Test: Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Latente Variablen – eindeutig bis auf Rotation Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Kriteriumsrotationen „Anschaulichkeit“ als Anker für die Interpretation. „Kompetenz“ und „Stoffmenge“ als Anker für die Interpretation. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X(a) Kreisförmige Punktekonfiguration und Anzahl der Dimensionen Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X(aa) Wahre Beziehung zwischen den Punkten (Skalen) und dem Kreis, auf dem die Punkte liegen müssten, wäre die Lösung tatsächlich nur 2-dimensional. Die Punkte liegen alle innerhalb des Kreises, -- Ausdruck der Tatsache, dass die Skalen durch weitere latente Dimensionen definiert werden. Multivariate Verfahren

Multivariate Verfahren Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Kriterium Varimax WS 2001/2002 Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (1): Es werden n (= viele) Variablen an den gleichen Personen bzw. Objekten gemessen; die Variablen korrelieren paarweise. Es wird angenommen, dass sie Korrelationen auf der Wirkung von r <= n „latenten Variablen‘‘ beruhen; das Ziel der Analyse ist, Art und Anzahl dieser Variablen zu bestimmen. Es wird angenommen, dass die latenten Variablen voneinander unabhängig sind, - andernfalls müsste man latente Variablen für die latenten Variablen fordern. Es wird angenommen, dass beobachtete und latente Variablen durch lineare Gleichungen aufeinander bezogen sind. Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (2): Vorhersage der gemessenen Variablen anhand der (hypothetischen) latenten Variablen. Die latenten Variablen sind unbekannt, also müssen sie aus den beobachteten Daten geschätzt (= ausgerechnet) werden. Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (3): Übergang zur Matrixnotation: Implikation der Annahme, dass die latenten Variablen unkorreliert sein sollen. Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (4): Die Lösung ergibt sich aus allgemeinen Resultaten der Vektor- und Matrixrechnung! (Singularwertzerlegung!) Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (5): Cattell: R-Analyse – Analyse der Variablen, Q-Analyse (Analyse der Personen, d.h. Typen) Korrelationen zwischen Tests/Variablen Keine Korrelationen zwischen Personen! Test/Variablen-Dimensionen sind die gleichen wir die „Personenfaktoren“ Multivariate Verfahren

Multivariate Verfahren Zusammenfassung (6): Bestimmung der Anzahl der zu berücksichtigenden latenten Dimensionen: Nach Maßgabe der Eigenwerte. Multivariate Verfahren

Multivariate Verfahren Beispiele: Erinnerung an Albert Wellek [1904 (Wien) – 1972 (Mainz)] Studium der Musik, Literaturwissenschaft, Philologie, 1938 Habilitation in Psychologie („Typologie der Musikbegabung im Deutschen Volk“, ab 1946 Ordinarius für Psychologie in Mainz (bis 1969). Das Polaritätsprinzip meint ''die Entfaltung einer Wesenheit nach zwei entgegengesetzten, doch aber sich gegenseitig bedingenden und ergänzenden Richtungen hin'‚ (nach Schischkoff, 1957). Dieses Prinzip soll insbesondere für Goethe und die Denker der Romantik (z.B. Schelling) eine Art fundamentales Axiom für Erklärung des Weltgeschehens gewesen sein. Multivariate Verfahren

Multivariate Verfahren A. Wellek (Fortsetz.) Hauptwerk: „Die Polarität im Aufbau des Charakters.“ Der Begriff der Polarität sei „… in der positivistischen Ära der empirischen Naturforschung als unwissenschaftlich verpönt…“, aber „das Prinzip der Polarität auch das tragende Prinzip der typologischen, und damit zunächst auch der charakterologischen, Methode'‚… Zur Polarität der Geschlechter: das weibliche Prinzip steht auf der Seite der Natur und der Vitalität, aber nicht auf der des Geistes, womit es ''Affinität zur Intensität, zur Extraversion, zur Eshaftigkeit … '' habe. Das ''Bewahrende“‚ ergibt ''sich ja schon aus der empfangenen Rolle des Weibes bei der Zeugung, dann in der Bergung oder Beherbergung und Nährung der Frucht …''. Multivariate Verfahren

Multivariate Verfahren A. Wellek (Fortsetz.) Zur Stützung der polaren Schichtentheorie zitiert Wellek Cervantes: ''Die Verwandte der weiblichen Rede ist Konfusion'', und dann Nietzsche: ''Bei vielen Frauen ist der Intellekt nur plötzlich und stoßweise da'', was Wellek zu der Deutung veranlaßt, dass das weibliche Denken demnach ein ''Einfalldenken'' sei (Wellek, 1966, p. 288). Multivariate Verfahren

Multivariate Verfahren Stereotype und ihre Erforschung: Das Polaritätsprofil Begriffe wie ‚Mann‘, ‚Intelligenz‘, ‚Vater‘,‘Mutter‘ etc werden vorgegeben und auf einer Liste von Eigenschaften beurteilt („gerated“). Anschließend wird eine Q-Analyse gerechnet: es ergeben sich zwei latente Dimensionen: D1: ‚Frau‘, D2: ‚Mann‘ Demnach sind die Geschlechter nicht durch Polarität, sondern als unabhängige Dimensionen charakterisiert. Multivariate Verfahren

Multivariate Verfahren Stereotype und ihre Erforschung: Das Polaritätsprofil Dimensionen versus Polarität Multivariate Verfahren