Generelle Einteilung von Messverfahren

Präsentation zum Thema: "Generelle Einteilung von Messverfahren"—  Präsentation transkript:

1 Politikwissenschaftliche Einstellungsforschung: Messung von Einstellungen Siegfried Schumann

2 Generelle Einteilung von Messverfahren
Explizite Einstellungsmaße Beispiele: Skalometer-Fragen (Selbstauskunft) Likert-Instrumente (auf Grundlage der klassischen Testtheorie) Guttman-Skalen (auf Grundlage einer probabilistischen Testtheorie) Semantisches Differential Thurstone-Instrumente (auf Grundlage von Expertenratings) Magnitude-Skalen (als Verfahren der Psychophysik) Implizite Einstellungsmaße Beispiele: Implicit Association Test (IAT) Evaluatives Priming Messung elektrodermaler Aktivität (EDA)

3 Explizite Einstellungsmaße

4 1. Skalometer-Fragen (Beispiel)

5 Skalometer-Fragen: Vor- und Nachteile
Vorteile: sehr ökonomische Erhebungsart Informationen aus dem „System Mensch“ weitgehend „standardisiert“ → gute Vergleichbarkeit von Ergebnissen Nachteile: Selbsteinschätzung insbes.: Diskrepanz Eigenwahrnehmung / Fremdwahrnehmung Gefahr mangelnder Reliabilität

6 2. Likert-Instrumente (Beispiel)
Ideales Antwortmuster bei mäßig positiver Merkmalsausprägung

7 Zum Likert-Verfahren:
Allgemeines: Grundlage: Klassische Testtheorie Messwert: Summe der Item-Einzelwerte (ev. geteilt durch n) Grundgedanke: Erhöhung der Reliabilität Vorteile: leichte Anwendbarkeit i.d.R. Erhöhung der Reliabilität Informationen zu Reliablität, Validität und interner Konsistenz Bewährung in der Praxis Nachteile: Kritikpunkte der Klassischen Testtheorie (z.B. Item-Schwierigkeit unbeachtet) geringe Anzahl von Antwortkategorien (→mangelnde Abstufung) wirklich „eindimensionale“ Itempools kaum erstellbar gute „umgepolte Items“ sind selten (→ Gefahr von Antwortverzerrung!)

8 3. Guttman-Skalen (Beispiel: Protestpotential-Skala)
Hier sind 10 Kärtchen, auf denen jeweils eine bestimmte Art von Verhalten beschrieben ist, die Leute gewählt haben, die die Öffentlichkeit auf Ihr Anliegen aufmerksam machen wollten oder gegen etwas protestieren. 1. Beteiligung an einer Unterschriftensammlung 2. Teilnahme an einer Bürgerinitiative 3. Teilnahme an einer genehmigten politischen Demonstration 4. Beteiligung an einem Boykott 5. Weigerung, Mieten, Raten oder Steuern zu bezahlen 6. Blockieren des Verkehrs mit einer Demonstration 7. Beteiligung an einem wilden Streik 8. Besetzung von Fabriken, Ämtern und Gebäuden 9. Beschädigung fremden Eigentums 10. Anwendung von Gewalt gegen Personen (aus: Infratest GmbH 1980: 180, 211) INT.: Orangen Kartensatz mischen und vorlegen

9 Protestpotential-Skala - Fortsetzung
Hier sind 10 Kärtchen, auf denen jeweils eine bestimmte Art von Verhalten beschrieben ist, die Leute gewählt haben, die die Öffentlichkeit auf Ihr Anliegen aufmerksam machen wollten oder gegen etwas protestieren. Beteiligung an einer Unterschriftensammlung … Anwendung von Gewalt gegen Personen Bitte legen Sie nun diese Kärtchen jeweils auf das Feld der Liste, das Ihrer eigenen Einstellung am nächsten kommt, je nachdem, ob Sie im allgemeinen das beschriebene Verhalten … voll befürworten im großen und ganzen befürworten im großen und ganzen ablehnen oder entschieden ablehnen INT.: Orangen Kartensatz mischen und vorlegen INT.: Zusätzlich Liste C vorlegen Verrechnung: Befürwortung vs. Ablehnung

10 Protestpotential-Skala - Fortsetzung
Grundidee: „Leiter“ 10. Anwendung von Gewalt gegen Personen 9. Beschädigung fremden Eigentums 8. Besetzung von Fabriken, Ämtern und Gebäuden 7. Beteiligung an einem wilden Streik 6. Blockieren des Verkehrs mit einer Demonstration 5. Weigerung, Mieten, Raten oder Steuern zu bezahlen 4. Beteiligung an einem Boykott 3. Teilnahme an einer genehmigten politischen Demonstration 2. Teilnahme an einer Bürgerinitiative 1. Beteiligung an einer Unterschriftensammlung

11 Protestpotential-Skala - Fortsetzung
Grundidee: „Leiter“ (allerdings: i.d.R. ungleicher Sprossen-Abstand!) 10. Anwendung von Gewalt gegen Personen 9. Beschädigung fremden Eigentums 8. Besetzung von Fabriken, Ämtern und Gebäuden 7. Beteiligung an einem wilden Streik 6. Blockieren des Verkehrs mit einer Demonstration 5. Weigerung, Mieten, Raten oder Steuern zu bezahlen 4. Beteiligung an einem Boykott 3. Teilnahme an einer genehmigten politischen Demonstration 2. Teilnahme an einer Bürgerinitiative 1. Beteiligung an einer Unterschriftensammlung

12 Zu Guttman-Skalen: Allgemeines: Vorteile: Nachteile:
Grundlage: (eine) probabilistische Testtheorie Messwert: Anzahl der „symptomatisch“ beantworteten Items nur Ordinalskalenniveau! Vorteile: echtes Skalierungsverfahren immer noch relativ leicht zu entwickeln und anzuwenden Schwierigkeit der Items berücksichtigt problemlos nach oben und unten erweiterbar Bewährung in der Praxis Nachteile: Messung kann „fehlschlagen“ (Reproduzierbarkeitskoeffizient!) Ordinalskalenniveau (s.o.) → für viele statistische Standardverfahren ungeeignet → kann behoben werden (Rasch-Skalierung)

13 4. Semantisches Differential (Beispiel)
Angela Merkel Bitte kreuzen Sie bei jeder Skala das Kästchen an, das Angela Merkel am besten beschreibt.

14 Zum Semantischen Differential:
Allgemeines: ursprünglich: Erfassung der „Konnotation“ von Begriffen Auswertung 1: Mittelwerte der Gegensatzpaare → „Profil“ für jedes Objekt Auswertung 2: Faktorenanalysen → meist 3 Dimensionen („EPA-Struktur“): Vorteile: stark vereinfachte Instrumentenentwicklung („fertiges Instrument“) aber: oft irrelevante Gegensatzpaare (friedlich/aggressiv ↔ Diamantring) Δ Interpretation der Adjektive (süß/sauer ↔ Liebe/Mitmensch/Hering) Nachteile: Interpretation einzelnen der Antworten schwierig (s.o.!) aufwändiges Verfahren bei der Erhebung evaluation (z.B.: gut – schlecht) potency (z.B.: stark – schwach) activity (z.B.: aktiv – passiv) [dominant!]

15 Abwandlung für die Einstellungsforschung
1. Nur der Faktor „evaluation“ wird berücksichtigt. 2. Nur Gegensatzpaare mit hohen Ladungen auf diesem Faktor werden berücksichtigt. Angela Merkel Bitte kreuzen Sie bei jeder Skala das Kästchen an, das Angela Merkel am besten beschreibt.

16 5. Thurstone-Instrumente (Beispiel)
Zu messendes Merkmal: Radikalität der Mittel, die man einzusetzen bereit ist, um polit. Ziele durchzusetzen ▼ Beurteilung der Extremität der Aussage durch Experten ▼

17 Beispiel - Fortsetzung
Zu messendes Merkmal: Radikalität der Mittel, die man einzusetzen bereit ist, um polit. Ziele durchzusetzen ▲ Expertenurteil (Mittelwerte)

18 Beispiel - Fortsetzung
Zu messendes Merkmal: Radikalität der Mittel, die man einzusetzen bereit ist, um polit. Ziele durchzusetzen ▲ SORTIERTE Expertenurteile (Mittelwerte)

19 Zu Thurstone-Instrumenten
Allgemeines zur Entwicklung: Grundlage: Einschätzung von Experten diese weisen jeder Frage einen „Wert“ für die Merkmalsausprägung zu möglichst gleichmäßige Abdeckung des gesamten „Antwortbereichs“ hohe Übereinstimmung der Experten-Einschätzug → Aufnahme ins Instrument Einsatz des Instruments: Antwortvorgaben jeweils nur „Zustimmung“ vs. „Ablehnung“ Messwert idealerweise: „Wert“ des einen (einzigen!) Items, das Zustimmung erfuhr Messwert bei mehreren Antworten: Mittelwert der Werte der positiv beantworteten Fragen Messwert abgewandelt: höchster Wert unter den positiv beantworteten Fragen Vorteile: Rückgriff auf einen großen „Wissensschatz“ leicht anwendbar, wenn einmal entwickelt Nachteile: aufwändige Entwicklung Antwortprofil schwer zu realisieren → alternative Arten, den Messwert zu ermitteln Verfahren steht und fällt mit der Fähigkeit der Experten, „objektiv“ zu urteilen Kriterien der Experten bleiben unbekannt

20 6. Magnitude Skalen: Grundlagen
Aufgabe: numerische Einschätzung der Stärke eine Reizes (im Vergleich zu „Basisreiz“) Beispiel: „doppelte (empfundene) Reizintensität“ → Verdoppelung der num. Angabe in Bezug auf eine (frei wählbare) Basis Experimentell vielfach bestätigt Beziehung zwischen objektiv gemessener Reizstärke und numerischer Einschätzung: Allgemeines psychophysisches Potenzgesetz: Einige Beispiele für „β“: Gewicht (gehoben) Lautstärke (bei 3000 Hertz) 0.67 Helligkeit (5º-Scheibe in Dunkelheit) 0.33 Visuelle Fläche (Quadrate) 0.70 Räumliche Länge (Linien) 1.00

21 Psychophysisches Potenzgesetz – Beispiel 1
Gewicht: 1.45 (a = 1/1800)

22 Psychophysisches Potenzgesetz – Beispiel 2
Lautstärke: 0.67 (a = 0.93)

23 Psychophysisches Potenzgesetz – Beispiel 3
Helligkeit: 0.33 1:1.257 1:1.257 20 40 60 120 1:2 1:2 (a = 2)

24 Cross-Modality-Matching
Einschätzung der Intensität des dargebotenen Reizes erfolgt … nicht durch eine numerische Angabe sondern durch die Manipulation einer anderer physikalischen Größe (nach gleichem Muster wie bisher) CMM-Funktion:

25 Cross-Modality-Matching - Fortsetzung

26 Indirektes Cross-Modality-Matching (Beispiel)
Dargeboten: Gewicht (Gramm) NICHT PHYSIKALISCH GEMESSEN!

27 Indirektes Cross-Modality-Matching - Fortsetzung
Stärke des dargebotenen Reizes (hier: „Gewicht“) … wird nicht mehr „physikalisch“ gemessen sondern aus zwei Einschätzungen erschlossen Beziehung zwischen den Einschätzungsmodalitäten prognostizierbar! Bei Verwendung von Modalitäten mit Exponent (β) = 1 erhebliche Vereinfachungen: Psychophysisches Potenzgesetz: CMM-Funktion: ICMM-Funktion: Modalitäten mit (β) = 1: z.B.: Zahlenvergabe, Linienzeichnen …

28 Berechnung des Messwertes bei β = 1: (Beispiel)
„Basis“ Einzuschätzen Modalitäten: Linienzeichnen numerische Angabe Messwert: Länge „Einschätzungslinie“ num. Angabe „Einschätzung“ Länge „Basislinie“ num. Angabe „Basis“ 2 Magnitude-Wert = +

29 Zu Magnitude-Skalen Vorteile: Experimentelle Grundlage
echtes Skalierungsverfahren nicht nur „Zuordnungsregel“ „Erfolg“ der Skalierung prüfbar! (ICMM-Funktion!) Behebt viele Schwächen der üblichen Messverfahren, z.B. Individuelle Interpretation von verbalen Antwortkategorien („sehr stark“) Informationsverlust durch wenige Antwortvorgaben Nachteile: etwas aufwändigere Entwicklung ungewohnte Antwortmodalitäten für den Befragten (Trainingsphase!) Mehraufwand bei der Datenaufnehme (z.B.: „Linienzeichnen“) am besten: Messung in zwei Modalitäten (→ Aufwand!)

30 Implizite Einstellungsmaße

31 Weshalb implizite Einstellungsmaße?
unbewusste Einstellungen erfassbar! kaum Effekte der Item-Darbietung (z.B. Halo-Effekte) bzw. ggf. kontrolliert eingesetzte Effekte (z.B. Evaluatives Priming) keine (oder stark reduzierte) Effekte der sozialen Erwünschtheit

32 1. Implicit Association Test (IAT) – Beispiel
Zu erfassen: Geschlechterbezogene Einstellungen »S«-Tasten-Reaktion »K«-Tasten-Reaktion jew Durchgänge; möglichst schnelle Reaktion 1 Männliche Namen Weibliche Namen 2 Positive Adjektive Negative Adjektive 3 Männliche Namen oder Positive Adjektive Weibliche Namen oder Negative Adjektive 4 Negative Adjektive Positive Adjektive 5 Männliche Namen oder Negative Adjektive Weibliche Namen oder Positive Adjektive nach: Haddock / Maio (2007: 211)

33 1. Implicit Association Test (IAT) – Beispiel
„leichte“ Aufgaben, wenn Männer positiver beurteilt werden „kongruente Verbindungen“ »S«-Tasten-Reaktion »K«-Tasten-Reaktion 1 Männliche Namen Weibliche Namen 2 Positive Adjektive Negative Adjektive 3 Männliche Namen oder Positive Adjektive Weibliche Namen oder Negative Adjektive 4 Negative Adjektive vs. Positive Adjektive 5 Männliche Namen oder Negative Adjektive Weibliche Namen oder Positive Adjektive nach: Haddock / Maio (2007: 211)

34 1. Implicit Association Test (IAT) – Beispiel
„leichte“ Aufgaben, wenn Frauen positiver beurteilt werden „kongruente Verbindungen“ »S«-Tasten-Reaktion »K«-Tasten-Reaktion 1 Männliche Namen Weibliche Namen 2 Positive Adjektive Negative Adjektive 3 Männliche Namen oder Positive Adjektive Weibliche Namen oder Negative Adjektive 4 Negative Adjektive vs. Positive Adjektive 5 Männliche Namen oder Negative Adjektive Weibliche Namen oder Positive Adjektive nach: Haddock / Maio (2007: 211)

35 2. Evaluatives Priming Ausgangspunkt: Aufgabenfolge:
Definition von „Einstellung“: eine im Gedächtnis abgespeicherte Assoziation zwischen einem Einstellungsgegenstand und einer zusammenfassenden Bewertung Assoziationen variieren in Bezug auf ihre Stärke Assoziationsstärke bestimmt die Zugänglichkeit einer Einstellung Aufgabenfolge: Darbietung des Einstellungsgegenstands Darbietung bewertender Adjektive, z.B.: Aufgabe: so schnell wie möglich „Valenz“ angeben (positiv / negativ) Gemessen: Geschwindigkeit, mit der die Angabe erfolgt (nach: Haddock / Maio 2007: 210) ekelhaft

36 Evaluatives Priming (Beispiel)

37 Evaluatives Priming (Beispiel - Fortsetzung)
Bedeuten die folgenden Adjektive etwas Positives oder etwas Negatives? (Bitte entsprechende Taste drücken) Positiv Negativ liebevoll hinterlistig rücksichtslos fürsorglich

38 Hauptproblem beim evaluativen Priming:
Reaktionsgeschwindigkeit „Klarheit“ der Valenz (z.B. „liebevoll“ – verlassener Partner!)

39 3. Messung elektrodermaler Aktivität (EDA)
EDA: Messbare Änderungen bioelektrischer Eigenschaften der Haut Physikalisch unterschiedlich beschreibbar, z.B. Leitfähigkeits- Widerstands oder Potentialänderungen erfassbar: Stärke von Einstellungen nicht erfassbar: Valenz von Einstellungen (nach: Vossel/Zimmer 1998: 53) Empfohlene Elektrodenplatzierungen

40 Probleme impliziter Einstellungsmaße (allgemein):
oft niedrige Korrelation mit expliziten Einstellungsmaßen ↓ mögliche Gründe: Messung „unbewußter“ Einstellungen keine Effekte soz. Erwünschtheit, Halo etc. Messung anderer Konstrukte

41 Fazit höchst unterschiedliche Verfahren zur Einstellungsmessung unterschiedliche „Messtheorien“ je nach Verfahren oft Validitätsprobleme (was wird gemessen?) am häufigsten angewandt: Skalometerfragen Likert-Verfahren

42 für Ihre Aufmerksamkeit!
Vielen Dank für Ihre Aufmerksamkeit!

43 Original a. zu: Cross-Modality-Matching

44 Original b. zu: Cross-Modality-Matching