Messungen – Skalen – Indizes Empirische Sozialforschung Renate Prantner Christoph Schantl

Übersicht Messung nicht-direkt beobachtbarer Eigenschaften Big-Mac-Index Einstellungsmessung Likert - Technik Gütekriterien (Objektivität, Reliabilität, Validität) Guttman-Skala Polaritätsprofil Messung und Skalenniveaus

Begriffsbeschreibung Operationalisierung einer Variablen Anweisungen, nach denen Untersuchungseinheiten den Kategorien einer Variable zugewiesen werden Messung Zuordnung von Zahlen zu Objekten nach bestimmten Regeln Skalierung Spezialfall der Messung - auf der Basis eines Skalierungsmodells Unterstellt empirisch prüfbare Annahmen über Struktur der Beobachtung Indizes Variablen, deren Werte sich aus einer Rechenoperation mehrerer anderer Variablen ergeben

Wasserverbrauch der Stadt Leverkusen an einem Wochentag Beispiel Indirekte Messung Messung der Fernsehbeteiligung Heute Kommissar Hawaii Fünf-Null Sendeschluss Wasserverbrauch der Stadt Leverkusen an einem Wochentag

Messung nicht-direkt beobachtbarer Eigenschaften Theoretisches Konstrukt Umweltbewusstsein, Lebensstandard Auswahl eines oder mehrer Indikatoren Qualitätskriterien einer Messung Reliabilität (Reproduzierbarkeit) Validität (Gültigkeit) Prüfung des Indikators - Validierungstest Korrelationskoeffizient (+1, -1, 0) Stärke des linearen Zusammenhangs zwischen zwei Variablen

Messung nicht-direkt beobachtbarer Eigenschaften Berechnung des Korrelationskoeffizienten Korrelationskoeffizient Kovarianz von X und Y Standardabweichung

Big-Mac-Index Messung der realen Kaufkraft einer Währung Theorie der Kaufkraftparität Der Wechselkurs zweier Währungen wird durch unterschiedliche Preisniveaus in zwei Ländern bestimmt Big-Mac-Index Homogenes Gut Weltweit erhältlich Lokale Big-Mac Preise, Produkte und Dienstleistungen „Arbeitszeitaufwand für Big-Mac“ als Indikator des Lebensstandards

Big-Mac-Index

Big-Mac-Index Prüfung des Indikators – Validierungstest Korrelation zwischen Big-Mac-Index und akzeptierten Maß BSP/Kopf „Human Development Index“ (HDI) der UN Lebenserwartung bei Geburt, Alphabetisierungsrate, BSP/Kopf

Big-Mac-Index

Einstellungsmessung Likert – Technik „Technik der summierten Einschätzungen“ Einstellungsmessung mit multiplen Indikatoren Qualitätskriterien der Testtheorie – Reliabilität und Validität Ziel Trennung geeigneter von wenig geeigneten Items Zuweisung eines Skalenwertes Technik Schriftlichen Befragung oder „Face-to-face“ Interview Punkte-Antwortskala Grad der Zustimmung zu jedem Item

Einstellungsmessung Likert – Technik Beispiel Einstellungsmessung Likert – Technik Item C: „Wenn wir so weitermachen wie bisher, steuern wir auf eine Umweltkatastrophe zu“ (1) Stimme überhaupt nicht zu (2) Stimme nicht zu (3) Teils /Teils (4) Stimme zu (5) Stimme voll zu

Einstellungsmessung Likert – Technik „Item-Non-Response“ Personen mit „missing values“ bleiben unberücksichtigt Gründe für „missing values“: Antwortverweigerung Keine Meinung zum spezifischen Item Vergessen eine Antwort zu geben

Einstellungsmessung Likert – Technik Konsistenz Items weisen eine gemeinsame Dimension auf Gründe für Inkonsistenz zufällige Messfehler systematische Verzerrungen durch einzelne Items mehrdimensionale Items (unterschiedliche Interpretationen)

Einstellungsmessung Likert – Technik Konsistenztest „Trennschärfekoeffizient“/„Item-Summenscore-Korrelation“ Aussondierung geeigneter Items Berechnung der einzelnen Items mit dem Summenscore Voraussetzung: Mehrzahl der Items die Zieldimension im hohen Maße anspricht. Annahmen dieses Konsistenztests In der Summe irrt man sich weniger als bei der Formulierung von Einzelitems

Einstellungsmessung Likert – Technik Beispiel Einstellungsmessung Likert – Technik

Gütekriterien der Messung Objektivität Ausmaß der Unabhängigkeit der Ergebnisse vom Anwender des Messinstrumentes Reliabilität Maß für die Reproduzierbarkeit von Messergebnissen Validität Grad der Genauigkeit des Messinstrumentes hinsichtlich der zumessenden Variablen bzw. des Verhaltens

Objektivität Ausmaß der Unabhängigkeit der Ergebnisse Korrelationskoeffizient Durchführungsobjektivität Niedrige Durchführungsobjektivität: unterschiedliche Interviewer lösen beim gleichen Befragten X jeweils ein anderes Antwortverhalten aus. Auswertungsobjektivität Geringe Auswertungsobjektivität: unterschiedliche Messergebnisse, von zwei Auswerter A und B bei gleichem Antwortverhalten von X

Objektivität Beispiel Durchführungsobjektivität Durchführungsobjektivität von unterschiedliche Sympathieträger, unterschiedliches Naheverhältnissen, vom Thema abhängig. Auswertungsobjektivität Schularbeiten von 2 Lehrern korrigieren lassen Deutsch (geringe Auswertungsobjektivität) Mathematik (hohe Auswertungsobjektivität)

Reliabilität Maß für die Reproduzierbarkeit von Messergebnissen Korrelationskoeffizienten Paralleltest-Methode (Paralleltest-Reliabilität) Messung mit zwei vergleichbaren Messinstrumenten Reliabilität nicht mit Validität verwechseln! (Zeitungsleser) Test-Retest-Methode (Test-Retest-Reliablilität) Wiederholte Anwendung nach einem bestimmten Zeitintervall Erfordert ein Paneldesign Methode der Testhalbierung („Split-half-Reliabilität“) Aufsplitterung einer Itemsbatterie in zwei Paralleltests Verkürzung führt zur Unterschätzung der Reliabilität

Reliabilität Formel von Spearman und Brown Unterschätzung des Reliabilitätskoeffizienten wird mit Hilfe der Formel von Spearman und Brown korrigiert

Reliabilität Beispiel Formel von Spearman und Brown Alternierende Items S1 = B + D + F + H + J S2 = C + E + G + I + K Korrelationskoeffizient = 0,66 Unterschätzung des Reliabilitätskoeffizienten wird mit Hilfe der Formel von Spearman und Brown korrigiert Korrigierter Wert = 0,79

Validität Definition Grad der Genauigkeit, mit dem der Test diejenige Verhaltensweise, die er messen soll, tatsächlich misst Arten der Validität Inhaltsvalidität: Repräsentative Stichprobe der zu messenden Eigenschaft Kriteriumsvalidität: Korrelation der Resultate eines Messinstrument mit anderen empirisch relevanten Merkmalen (Außenkriterium) Unterscheidungsvalidität: parallel erhobenes Außenkriterium Vorhersagegevalidität: prognostiziertes Kriterium Konstruktvalidität: Prüfung zur Eignung von Messinstrumenten für die Entwicklung von Theorien

Validität Beispiel Inhaltsvalide Messung Sammlung umweltrelevanter Aussagen in öffentlichen Diskussion mittels einer Inhaltsanalyse und Ziehung einer Stichprobe aus diesem „Universum“ „Expertenrating“: Expertenurteile bezüglich der Repräsentativität der Items als Hinweis auf die Inhaltsvalidität eines Messinstrumentes Kriteriumsvalidität Übereinstimmungsvalidität Zusammenhang zwischen Messwerten und Mitgliedschaft in Umweltorganisationen Vorhersagevalidität Zusammenhang zwischen Messwerten und einer späteren Wahl von Umweltparteien (politischen Wahlverhaltens)

Validität Konstruktvalidität Brauchbarkeit von Messinstrumenten für die Entwicklung von Theorien wird hiermit geprüft Das von einem Messinstrument erfasste Konstrukt soll einer empirischen Prüfung standhalten Multitrait-Multimethod-Matrix (M-M-Matrix) stärker formalisiertes Verfahren der Konstruktvalidität Korrelationsanalysen Voraussetzung: Messung mindestens zwei hypothetische Konstrukte mit mindestens je zwei verschiedenen Methoden

Validität Konstruktvalidität „Konvergente Validität“ Korrelation zwischen den Messergebnissen verschiedener Methoden zur Erfassung des gleichen Konstrukts „Diskriminierende Validität“ Korrelation zwischen den Messergebnissen verschiedener Konstrukte mit der gleichen Methode

Validität Beispiel Konstruktvalidität: Multitrait-Multimethod-Matrix Reliabilitätskoeffizienten („Split-half-Korrelation“) gleiche Methode, gleiches Konstrukt Validitätskoeffizienten gleiches Konstrukt, verschiedene Methoden

Objektivität, Reliabilität, Validität Hierarchisches Verhältnis der drei Güterkriterien Minimalvoraussetzungen Objektivität ist eine notwendige, aber nicht hinreichende Bedingung der Reliabilität. Reliabilität ist wiederum eine notwendige, aber nicht hinreichende Bedingung der Validität. Validität Ziel ist die Konstruktion valider Messinstrumente Erfüllung mindestens eines der Validitätskriterien Ausmaß der Validität begrenzt durch Ausmaß der Reliabilität

X = T + E Messwert X setzt sich aus T und E zusammen Testtheorie Klassische Testtheorie Objektivität, Reliabilität und Validität Zusammenhang zwischen Messinstrumenten und theoretischen Konstrukten mittels mathematisch-statistischen Modells X = T + E Messwert X setzt sich aus T und E zusammen Probabilistische Testtheorie Wahrscheinlichkeit, dass Items sich lösen lassen hängt ab vom Schwierigkeitsgrad und von Fähigkeit der Person Intelligenztest

Guttmann-Skalierung Erfasst Einstellungen zu einer Sache bzw. auch zu Personen (z.B. Umweltbewusstsein) Deterministisches, eindimensionales, ordinales Skalierungsmodell Anteil der Ja-Antworten nimmt von A – D ab Items haben eine unterschiedliche Intensität bzgl. der latenten Dimension „Umweltengagement“

Beispiel: Umweltengagement JA A: Haben Sie sich schon einmal in eine Unterschriftenliste eingetragen, bei der es um Umweltschutzprobleme ging? B: Haben Sie schon einmal oder häufiger Geld für eine Umweltschutzaktion oder eine Umweltorganisation gespendet? C: Sind Sie aktives oder passives Mitglied einer Umweltschutzorganisation oder einer Vereinigung, die Umweltschutzinteressen verfolgt? D: Haben Sie schon einmal ein Treffen oder eine Veranstaltung einer Umweltschutzorganisation besucht? 58% 42% 17% 16% „Je höher die Kosten des Verhaltens, desto geringer ist das Engagement.“

Itemcharakteristik der Guttman-Skala Annahme: Person besitzt eine bestimmte Anschauung – Befragte stimmt allen Items zu, die eine weniger extreme Anschauung ausdrücken, als er selbst besitzt, extremere Items werden hingegen abgelehnt. Wahrscheinlichkeit JA 1 Latente Eigenschaft T 1 2 3 4 Aus der Itemcharakterisik folgt ein eindeutig bestimmbares ideales Antwortmuster !

Antwortmatrix der Guttman-Skala B D Skalenwert Position auf dem latenten Kontinuum T < τ1 1 τ1 ≤ T < τ2 2 τ2 ≤ T < τ3 3 τ3 ≤ T < τ4 4 τ4 ≤ T Zustimmung zu einem intensiveren Item, schließt Zustimmung zu schwächerem Item ein Skalenwert als Summe der gegebenen „Ja“ einer Person Person c mit Skalenwert von 3 hat höheres Umweltengagement als z.B. Person a (Skalenwert 0) Skalenwerte zeigen Rangordnung - ordinales Skalenniveau!

Bedingungen für Guttman-Skala Beobachteten Antworten müssten theoretisch exakt mit erwartetem Antwortmuster übereinstimmen Abweichungen aufgrund Messfehler sind möglich (geringfügige Fehlerquote ist tolerabel) -„verbotene Antwortmuster“ sollten relativ selten sein Bei n Items dürfen n + 1 Antwortkombinationen auftreten Tatsächlich gibt es jedoch 2n = 16 Antworten Bei Bsp. Umweltengagement sind alle 16 Antwortmöglichkeiten vorhanden!

Beispiel: Beobachtete Antwortmatrix Nr. A B C D Skalen wert Fehler Anzahl P. 1 4 72 2 3 94 144 6 12 5 10 203 7 13 26 8 – 15 … Summe 1343 582 „Je höher der Reproduzierbarkeitskoeffizient, desto besser die Skala.“

Polaritätsprofil Beschreibung eines Objekt durch Darstellung charakteristischer Merkmalsmuster (Profil) Voraussetzungen: Auswahl geeigneter Eigenschaften Vergleich mehrerer Objekte mittels Polaritätsprofil möglich (z.B. Profile zweier Politiker) Verwendung in Markt- und Wahlforschung, sowie Persönlichkeitspsychologie

Beispiel: Umweltverhalten Untersuchung zum Image von Freilandeiern vs. Bodenhaltungseiern 7 Eigenschaften zur Beschreibung des Produktimages ausgewählt Für jede Eigenschaft wird ein Gegensatzpaar gebildet Ca. 50 Kunden werden um Einschätzung gebeten Mittelwerte der Einstufungen werden in die Polaritätsprofile eingetragen

Bodenhaltungseier tierfeindlich -3 -2 -1 0 1 2 3 tierfreundlich -3 -2 -1 0 1 2 3 tierfreundlich Umwelts. -3 -2 -1 0 1 2 3 Umweltf. ungesund -3 -2 -1 0 1 2 3 gesund billig -3 -2 -1 0 1 2 3 teuer Schlecht -3 -2 -1 0 1 2 3 Gut Kurz haltbar -3 -2 -1 0 1 2 3 Lang haltbar Schl. Qualität -3 -2 -1 0 1 2 3 Gute Qualität

Freilandeier tierfeindlich -3 -2 -1 0 1 2 3 tierfreundlich Umwelts. -3 -2 -1 0 1 2 3 tierfreundlich Umwelts. -3 -2 -1 0 1 2 3 Umweltf. ungesund -3 -2 -1 0 1 2 3 gesund billig -3 -2 -1 0 1 2 3 teuer Schlecht -3 -2 -1 0 1 2 3 Gut Kurz haltbar -3 -2 -1 0 1 2 3 Lang haltbar Schl. Qualität -3 -2 -1 0 1 2 3 Gute Qualität

Meßtheorie Mit welchen Regeln können Zahlen zu Objekten zugeordnet werden? Beispiel: Peter liest Stephen King (k), lieber hätte er ein Scheckbuch (s), King zieht er Diekmann (d) vor, schlimmste Horror ist Einführung in die Statistik (e) Menge A: s, k, d, e Menge B: 1,2,3,4 φ(s)=4; φ(k)=3; … s, k, d, etc. ist die Menge der empirischen Objekte mit Relation (empirisches Relativ) Menge von Zahlen mit Relation (Numerisches Relativ)

Messung Isomorphismus Jedem Objekt (z.B. King) in der Menge A wird eindeutig eine Zahl (z.B. 3) zugeordnet und jeder Zahl in B (z.B. 2) wird eindeutig ein Objekt (z.B. Diekmann) zugeordnet. Homomorphismus Jedem Objekt in der Menge A kann eindeutig eine Zahl zugeordnet werden (Stephen King wird die Zahl 3 zugeordnet). Definition: Messung liegt vor, wenn ein Isomorphismus oder Homomorphismus zwischen einem empirischen und einem numerischen Relativ existiert.

Repräsentation, Eindeutigkeit und … z.B. beim Homomorphismus wird ein Objekt durch eine Zahl „repräsentiert“ (King wird repräsentiert durch die Zahl 3) Bedingungen (Axiome) für diesen H. müssen gefunden werden → Repräsentationsproblem Eindeutigkeitsproblem Bezeichnet welche Transformationen möglich sind, sodass die Rangordnung der Messwerte bewahrt wird. (z.B. kann ich statt 4,3,2,1 auch 10,7,5,1 beim Bücherbeispiel verwenden)

Bedeutsamkeit Bedeutsamkeit Aussage gilt als bedeutsam, wenn der Wahrheitswert nach den Transformationen unverändert bleibt. Welche Aussagen und Schlussfolgerungen, Rechenoperationen sind bei einer bestimmten Art der Messung zulässig oder unzulässig? Beispiel: Dienstag 18°C, Mittwoch 27°C Aussage 1: Mittwoch ist es wärmer als Dienstag Aussage 2: Mittwoch ist es um 50% wärmer als Dienstag (bedeutsam???)

Skalenniveaus Skalen Zu jeder Messstruktur gibt es ein Repräsentationstheorem (Bedingungen) und ein Eindeutigkeitstheorem (Klasse der möglichen Transformationen = Skalenniveau) Für jedes Skalenniveau lässt sich angeben, welche Aussagen und Rechenoperationen zulässig sind Verschiedene Skalen Nominalskala (unterstes Messniveau) Ordinalskala Intervallskala Ratioskala Absolutskala (höchstes Messniveau)

Nominalskala Klassifikation von Objekten nach der Relation Gleichheit oder Verschiedenheit Zuordnung nach Geschlecht (m/w), Arten von Freizeitaktivitäten, Religionszugehörigkeit, Haarfarbe, etc. Aussagen: gleich oder verschieden Jede Äquivalenzklasse kann mit einer Zahl kodiert werden (Männer = 0, Frauen = 1 oder Männer = 5, Frauen =10) Transformation: Ein-eindeutige Transformationen der zugewiesenen Zahlen sind möglich, auch Männer = 5 und Frauen = 10 bedeutet Verschiedenheit, Wichtig bleibt nur Unterscheidbarkeit! Einziger sinnvoller „Mittelwert“ ist der Modalwert!

Ordinalskala Eine Rangordnung der Objekte bzgl. einer Eigenschaft wird vorausgesetzt (Rangskala) Schulnoten (1 besser als 2 besser als 3 etc.), Einkommen (hoch > mittel > niedrig), Dienstgrad (General > Oberst > Gefreiter) Aussagen: größer, kleiner oder gleich Transformation: Positive monotone Transformationen sind möglich (Rangordnung der Skalenwerte muss bewahrt werden) Mittelwert ist der Median Abstände zwischen den Skalenwerten sind nicht sinnvoll interpretierbar!

Intervallskala Aussage über die Rangordnung der Messwerte ist möglich, zusätzlich informieren die Skalenwerte auch über die Abstände (Intervalle) zw. den Messwerten Temperatur in C° oder °F, Zeitpunkte, Metrische Maße, Intelligenztests, etc. Aussagen: Vergleichbarkeit von Differenzen Nullpunkt und Skaleneinheit kann willkürlich festgelegt werden Transformation: positive lineare Prozentuale Zuwächse oder Verhältnisse von Skalenwerten sind nicht zulässig (Bsp. Temperatur, IQ) Berechnung arithmetischer Mittelwerte hingegen zulässig Bsp: Peter IQ 110, Max IQ 100, Peter ist um 10% klüger als Max – nicht zulässig

Ratioskala Verfügen über natürlichen Nullpunkt Temperatur in Kelvin (absoluter Nullpunkt), Einkommen und Vermögen (Nullpunkt = Besitzlosigkeit) etc. Aussagen: Aussagen über Verhältnisse, prozentuale Vergleiche Transformation: positiv proportionale (Freiheit in der Wahl der Skaleneinheit) Aussagen über Verhältnisse sind zulässig Geometrische Mittelwerte können berechnet werden

Absolutskala Eindeutig festgelegt, nicht einmal Wahl der Skaleneinheit ist frei wählbar Wahrscheinlichkeitswerte und Häufigkeiten, z.B. Anzahl von Demonstrationsteilnehmern, Mitgliederzahl in einer Gewerkschaft, Anzahl kriegerischer Konflikte in einem Jahr, etc. Transformation: nicht möglich

Zusammenfassend zu Skalenniveaus Zahl der zulässigen Transformationen wird eingeschränkt mit steigendem Messniveau (von Nominal- bis zur Absolutskala) Umfang der Menge zulässiger Rechenoperationen und erlaubter Aussagen wächst mit dem Skalenniveau Statistische Kennziffern, die auf niedrigem Niveau sinnvoll berechenbar sind, können immer auch auf höherem Niveau berechnet werden Informationsgehalt der Messhypothesen (Aussagen) steigt mit dem Skalenniveau

Hinweise und praktische Tipps Auswahl des Meßverfahrens Mehrdimensionale vor eindimensionalen Verfahren Probabilistische vor deterministischen Verfahren Messungen auf Basis eines Repräsentationstheorems vor Messungen ohne Prüfung der Skalenvoraussetzungen Möglichst hohes Skalenniveau Abhängig von Art der Daten, Arbeitsaufwand Untersuchungsziele Zu untersuchende Eigenschaft

Hinweise und praktische Tipps 2 Skalenniveau Vom Skalenniveau der Variablen und Indizes hängt ab, welche statistischen Analyseverfahren später verwendet werden können! Einstellungsskalen Einstellungsskalen müssen nicht jeweils neu konstruiert werden, eine Vielzahl existiert bereits, es spricht nichts dagegen diese zu verwenden, anstatt das Rad neu zu erfinden!