Messung, Skalen und Indizes Julia Michl Gerald Posautz Michael Schuster

Agenda Einleitung Testtheorie Meßtheorie Skalen, Indizes und Operationalisierung Objektivität, Reliabilität, Validität Testtheorie Grundlagen Polaritätsprofil Guttmann-Skalierung Meßtheorie Skalenniveaus, Skalenhierarchie Methoden der quantitativen Sozialforschung 11. März 2005 [2]

Agenda Einleitung Testtheorie Meßtheorie Skalen, Indizes und Operationalisierung Objektivität, Reliabilität, Validität Testtheorie Grundlagen Polaritätsprofil Guttmann-Skalierung Meßtheorie Skalenniveaus, Skalenhierarchie Methoden der quantitativen Sozialforschung 11. März 2005 [3]

Wir beobachten um zu erkennen Welt ForscherIn Zusammenhänge, Aussagen Methoden der quantitativen Sozialforschung 11. März 2005 [4]

Nicht alles lässt sich direkt beobachten Skalen und Indizes Theoretische Konstrukte Zufriedenheit, Einstellung, Zustände ForscherIn Zusammenhänge, Aussagen Methoden der quantitativen Sozialforschung 11. März 2005 [5]

Beispiele für indirekte Messung Intelligenztest Messung anhand von einzelnen Indikatoren wie Problemlösung, Kreativität, räumliches Denken, etc. Tornadostärke Messung der Stärke eines Tornados anhand des Zustandes eines Huhns Vgl. Franke (2000) Methoden der quantitativen Sozialforschung 11. März 2005 [6]

Trennschärfemessung mittels Korrelation B 4 5 4 3 1 5 4 C 2 3 2 1 4 3 1 … 2 3 4 5 Operationalisierung mittels Likert Skala* Fragebogen mit 15 Items Ergebnisse für jedes Item und n Personen Berechnung der Korrelation zwischen einzelnen Ergebnissen und der Itemsumme Trennschärfekorrelation zeigt Qualität der Items Itemsumme für jedes Item Methoden der quantitativen Sozialforschung * Approximiert Normalerverteilung 11. März 2005 [7]

Qualitätskriterien Objektivität Reliabilität Validität In Durchführung und Auswertung Reliabilität Methoden: Paralleltest, Test-Retest und Testhalbierung Validität Inhalts-, Kriteriums- und Konstruktvalidität Methoden der quantitativen Sozialforschung 11. März 2005 [8]

Beispiel für die Anwendung der Qualitätskritierien Tachometer zeigt objektiv das selbe Ergebnis Verlässlich wenn er nur dann das Ergebnis ändert, wenn die Geschwindigkeit verändert wird Gültig wenn die tatsächliche Geschwindigkeit angezeigt wird Methoden der quantitativen Sozialforschung 11. März 2005 [9]

Agenda Einleitung Testtheorie Meßtheorie Skalen, Indizes und Operationalisierung Objektivität, Reliabilität, Validität Testtheorie Grundlagen Polaritätsprofil Guttmann-Skalierung Meßtheorie Skalenniveaus, Skalenhierarchie Methoden der quantitativen Sozialforschung 11. März 2005 [10]

Testtheorie – Grundaussage Einzelne Messungen weichen vom realen Wert um einen Messfehler ab (Annahme 1) – Intelligenztest - Müdigkeit Bei Zutreffen gewisser Annahmen (1-5) entspricht bei ausreichend vielen Messungen der Mittelwert der Messwerte (X) dem realen Wert (T oder true score). Methoden der quantitativen Sozialforschung 11. März 2005 [11]

Annahme 2 der Mittelwert der Messfehler ergibt 0, ist also manchmal positiv, manchmal negativ Beispiel: Aufwachen in der Früh – ohne Wecker (manchmal früher, manchmal später) Gegenbeispiel: Erhebung durchschnittlicher Preise für Mittagessen durch Befragung über die Ausgaben – Trinkgeld ist immer eine positive Abweichung Reliabilität: je größer die Schwankungsbreite des Messfehlers, desto geringer die Reliabilität des Messinstruments. IT: richtiges Raten, Müdigkeit Methoden der quantitativen Sozialforschung 11. März 2005 [12]

Annahme 2: Messfehler gleichen sich aus Messwerte weichen von tatsächlichen Werten ab > Messfehler Der Mittelwert der Messfehler ergibt 0, je größer die Schwankungsbreite desto geringer die Reliabilität Intelligenztest Richtiges Raten, Müdigkeit Methoden der quantitativen Sozialforschung 11. März 2005 [13]

Annahme 3 Der wahre Wert und der Messfehler sind nicht korreliert Beispiel: Sandwaage misst immer um bis zu 1 kg falsch – keine Korrelation (bei 10 kg – 9-11, bei 100 kg – 99-101 kg) Gegenbeispiel: Sandwaage misst jeweils um bis zu 10% des Sollgewichts falsch – Korrelation (bei 10 kg – 9-11, bei 100 kg – 90-110). IT: Fehlereinflüsse sind bei Personen mit hoher und niedriger Intelligenz in gleicher Weise wirksam Methoden der quantitativen Sozialforschung 11. März 2005 [14]

Annahme 3: Wert und Messfehler korrelieren nicht Beispiel: Waage misst immer 1 kg falsch, bei 10 kg liegt der Messwert zwischen 9 – 11 kg, bei 100 kg zwischen 99 – 101 kg > Keine Korrelation Gegenbeispiel: Messfehler der Waage beträgt 10 % des tatsächlichen Gewichtes > Starke Korrelation Intelligenztest Fehlereinflüsse bei Personen mit niedriger oder hoher Intelligenz gleich wirksam Methoden der quantitativen Sozialforschung 11. März 2005 [15]

Annahme 4 Es besteht keine Abhängigkeit zwischen zwei Messungen – das Messinstrument darf kein Gedächtnis haben. Beispiel: Besucherzahlen bei IKEA an zwei Tagen Gegenbeispiel: LV-Evaluationen bei denen IT: Personen die einmal sehr müde sind, sollten beim nächsten Test keine analogen Müdigkeitserscheinungen aufweisen Methoden der quantitativen Sozialforschung 11. März 2005 [16]

Annahme 4: Kein Zusammenhang zwischen zwei Messungen Beispiel: Besucherzahlen von Ikea an zwei verschiedenen Tagen > Keine Korrelation Gegenbeispiel: LV Evaluierung > Starke Korrelation Intelligenztest Äußere Einflüsse sollten an zwei verschiedenen Tagen unterschiedlich sein (zB Müdigkeit) Methoden der quantitativen Sozialforschung 11. März 2005 [17]

Annahme 5 Messfehler der ersten Messung darf nicht systematisch mit dem „true score“ der zweiten Messung verknüpft sein IT: Messfehler eines IT sollten nicht mit Testangst oder Konzentrationsfähigkeit korrelieren??? Methoden der quantitativen Sozialforschung 11. März 2005 [18]

Annahme 5: Messfehler der ersten Messung darf keinen systematischen Zusammenhang mit zweiter Messung haben Intelligenztest Äußere Einflüsse sollten an zwei verschiedenen Tagen unterschiedlich sein (zB Müdigkeit) Gegenbeispiel: LV Evaluierung > Starke Korrelation Methoden der quantitativen Sozialforschung 11. März 2005 [19]

Polaritätsprofil Methode zur Beschreibung von Objekten anhand von Charakteristika – Beispiel Studium FH (*) – Uni (<>) -3 -2 -1 1 2 3 Org. Unterstützung * <> Selbstorganisation Berufsausbildung Berufsvorbildung Persönliches Verhältnis Anonymität Viele Wahlmöglichkeiten innerhalb des Studiums Wenig Wahlmöglichkeiten Fördert Selbständigkeit Erlaubt Unselbständigkeit Methoden der quantitativen Sozialforschung 11. März 2005 [20]

Guttman-Skalierung Items können nach dem Grad ihrer wahrscheinlichen Zustimmung geordnet werden (Schwierigkeitsgrad) Es ergibt sich ein idealtypisches Antwortmuster (Hypothese oder getestet) Möglichkeit, „kulturelle“ Unterschiede zu erkennen, wenn die Antwortmuster stark abweichen Methoden der quantitativen Sozialforschung 11. März 2005 [21]

Guttman-Skalierung Beispiel Items Typ I Typ II Typ III Typ IV Typ V ich werde das Studium fortsetzen 1 ich würde mich wieder für das Studium entscheiden ich empfehle das Studium Freunden weiter ich werde nach dem Abschluss ein weiteres Studium an dieser Institution beginnen Methoden der quantitativen Sozialforschung 11. März 2005 [22]

Guttman-Skalierung Güte der Übereinstimmung Die erwartete Antwortmatrix wird der beobachteten gegenübergestellt coefficient of reproducability (CR): hoher CR – brauchbare Guttman-Skala CR = 1 – Fehlerzahl Anzahl Items * Anzahl Befragte Methoden der quantitativen Sozialforschung 11. März 2005 [23]

Agenda Einleitung Testtheorie Meßtheorie Skalen, Indizes und Operationalisierung Objektivität, Reliabilität, Validität Testtheorie Grundlagen Polaritätsprofil Guttmann-Skalierung Meßtheorie Skalenniveaus, Skalenhierarchie Methoden der quantitativen Sozialforschung 11. März 2005 [24]

Messtheorie „Zuordnung von Zahlen zu Objekten nach bestimmten Regeln“ (Stevens, 1951) Strukturkonforme Abbildung der Objekte auf eine Menge von Zahlen Skalenniveau (Messniveau) als wichtiger Bestandteil Methoden der quantitativen Sozialforschung 11. März 2005 [25]

Skalenniveaus Nominalskala (unterste Hierarchieebene) Ordinalskala (Rangskala) Intervallskala Ratioskala (Verhältnisskala) Absolutskala Methoden der quantitativen Sozialforschung 11. März 2005 [26]

Skalenniveaus bestimmen zulässigen Transformationen der Skalenwerte Zulässigkeit von Aussagen Rechenoperationen (statistische Kennzahlen) Methoden der quantitativen Sozialforschung 11. März 2005 [27]

Nominalskala Gleichheit oder Verschiedenheit Kodierung der Äquivalenzklasse: Mann: 0 Frau: 1 Modalwert (Modus) Klasse mit höchster Besetzungszahl Mann oder Frau Methoden der quantitativen Sozialforschung 11. März 2005 [28]

Ordinalskala (Rangskala) Rangordnung nach einer Eigenschaft Lieblingsurlaubsziele Rangfolgebewahrende Transformationen erlaubt Abstände zwischen Skalenwerten nicht interpretierbar Median (trennt oberen 50% von den unteren 50%) Methoden der quantitativen Sozialforschung 11. März 2005 [29]

Intervallskala Rangordnung und Abstände zwischen Messwerten Willkürlicher Nullpunkt Berechnung von %-Zuwächsen unzulässig Positive lineare Transformation erlaubt Arithmetischer Mittelwert Methoden der quantitativen Sozialforschung 11. März 2005 [30]

Ratioskala (Verhältnisskala) Natürlicher Nullpunkt (0 € Einkommen) Skaleneinheit frei wählbar Prozentuale Vergleiche/Aussagen über Verhältnisse Positiv proportionale Transformation zulässig Geometrischer Mittelwert Methoden der quantitativen Sozialforschung 11. März 2005 [31]

Absolutskala Skaleneinheit ist vorgegeben Häufigkeiten/Wahrscheinlichkeiten Prozentuale Vergleiche/Aussagen über Verhältnisse Nur identitätswahrende Transformationen zulässig Geometrischer Mittelwert Methoden der quantitativen Sozialforschung 11. März 2005 [32]

Skalenhierarchie Mit steigendem Skalenniveau sinken die zulässigen Transformationen steigt die Bedeutsamkeit steigt der Umfang erlaubter Rechenoperationen/ Aussagen können auch Kennzahlen eines niedrigeren Niveaus berechnet werden Methoden der quantitativen Sozialforschung 11. März 2005 [33]

Auswahl des Messverfahrens Mehrdimensional statt eindimensional Möglichst hohes Skalenniveau Ausgewähltes Skalenniveau bestimmt statistischen Auswertungsverfahren Methoden der quantitativen Sozialforschung 11. März 2005 [34]

Danke!