Patrick Rössler Methoden der Datenerhebung und -auswertung Vorlesung BA Kommunikationswissenschaft (G21) 1

Sitzung IV: Gütekriterien und Repräsentativität Gütekriterien der Messung: Reliabilität Verfahren zur Bestimmung der Reliabilität Gültigkeit der Messung: Validität verschiedene Formen von Validität Verallgemeinerbarkeit der Messung: Repräsentativität Grundlagen der Stichprobentheorie

Gütekriterien der Messung Forderung: empirische Messungen sollten möglichst objektiv, zuverlässig und gültig sein

Gütekriterien der Messung: Reliabilität Zuverlässigkeit der Messung = Reproduzierbarkeit bei wiederholter Messung sollte gleiches Ergebnis resultieren Masszahl: Reliabilitätskoeffizient (zwischen 0 und 1) Wahrscheinlichkeitsmaß bei unendlich vielen Messungen: Übereinstimmung einer Messung mit der Gesamtheit von Messungen

Reliabilitätskoeffizienten Test-Retest-Methode Paralleltest-Methode, Split-Half-Methode Inter-Codiererreliabilität (Inhaltsanalyse)

Schema der verschiedenen Reliabilitäts-Verfahren Person 1 Person 2 Person 3 Person 4 Person 5 Person 6 Person 1 Person 2 Person 3 Person 4 Person 5 Person 6 Gruppe 1 Codierer-Reliabilität Gruppe 2 Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Test-Retest Indikatormenge 1 Parallel-Test, Split-Half-Test Indikatormenge 2 t1 t2

Gültigkeit der Messung: Validität Misst das Instrument das, was es messen soll? Adäquanz der operationalen Definitionen zur Bestimmung des theoretischen Konstrukts Definition: “Die Validität eines Tests gibt den Grad der Genauigkleit an, mit dem dieser Test dasjenige Persönlichkeitsmerkmal oder diejenige verhaltensweise, das (die) er messen soll oder zu messen vorgibt, tatsächlich misst.“ (Lienert 1969) -> Validität weniger bestimmt und nicht quantifizierbar, da kein absoluter Vergleichswert bekannt

Formen der Validität Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität

Verhältnis von Objektivität, Reliabilität und Validität notwendige, aber nicht hinreichende Voraussetzung für Reliabilität notwendige, aber nicht hinreichende Voraussetzung für Validität Ziel: Erfüllung von mindestens einem Validitätskriterium (Inhalts-, Kriteriums-, Konstruktvalidität)

Repräsentativität: Begriffe Grundgesamtheit = Population Teilerhebung von Elementen einer Grundgesamtheit: Stichprobenziehung Stichprobe = verkleinertes strukturgleiches Abbild der Grundgesamtheit

Repräsentativität: Schlussfolgerungen Repräsentationsschluss: Aussagen über die Grundgesamtheit auf Basis der Stichprobe Schätzung von Parametern der Population statistische Bedingung für Repräsentationsschluss: Zufallsstichprobe (Wahrscheinlichkeitsauswahl)

Stichprobentheorie: Grundlage Wahrscheinlichkeitsbegriff von Laplace Gauß‘sche Normalverteilung Streuung von Zufallsexperimenten um den „wahren Wert“ „wahrer Wert“ in der Population ist unbekannt jede Stichprobe ergibt einen Schätzwert, der mehr oder weniger um den wahren Wert schwankt z.B. Geschlechtsverteilung in der Bevölkerung, Wahlabsicht Frage: Woher weiss ich, ob ich meiner Stichprobe vertrauen kann? Berechnung des Vertrauensintervalls = Sicherheit, mit der der „wahre Wert“ in einem bestimmten Schwankungsbereich liegt

Stichprobentheorie: Beispiel Geschlechterverteilung Ziehung von 100 Zufallsstichproben: „wahrer Wert“ = 52,4% die Mittelwerte der Realisierungen der Stichprobe schwanken um den „wahren Wert“ - je mehr Stichproben, desto genauer der „Mittelwert der Mittelwerte“

Stichprobentheorie: Normalverteilungskurve 68,3 % 95,5 % 99,7 % µ = Mittelwert (in Stichprobe: p)  = Standardabweichung Sicherheit Vertrauens- intervall 95 % +/- 1,96  99 % +/- 2,58  mit  =  p (1-p) N ab N = 30: Normalverteilung unterstellt

Stichprobentheorie: Basisformel 68,3 % 95,5 % 99,7 % µ = Mittelwert (in Stichprobe: p)  = Standardabweichung Sicherheit Vertrauens- intervall 95 % +/- 1,96  99 % +/- 2,58  mit  =  p (1-p) N Gesamtformel: Vertrauensintervall I = p  zw  oder: N = p (1-p) (zw / I)² Vertrauensintervall Sicherheit Fallzahl erwarteter Mittelwert p (1-p) N

Stichprobentheorie: Berechnungsbeispiele Vertrauensintervall I = p  zw  oder: N = p (1-p) (zw / I)² p (1-p) N Vertrauensintervall Sicherheit Fallzahl erwarteter Mittelwert Beispiel: 95%ige Sicherheit für FDP bei Prognose von 6 % (1000 Befragte)?

Stichprobentheorie: Berechnungsbeispiele Vertrauensintervall I = p  zw  oder: N = p (1-p) (zw / I)² p (1-p) N Vertrauensintervall Sicherheit Fallzahl erwarteter Mittelwert Beispiel: Prognose von 6 % für FDP - wieviele Personen muss ich befragen, um mit 95%iger Sicherheit zwischen 5% und 7% zu liegen?

Stichprobentheorie: Berechnungsbeispiele Vertrauensintervall I = p  zw  oder: N = p (1-p) (zw / I)² p (1-p) N Vertrauensintervall Sicherheit Fallzahl erwarteter Mittelwert Beispiel: Prognose für eine Schätzung der absoluten Mehrheit einer Partei bei Ergebnis von 51 % mit 95%iger Sicherheit - wieviele Befragte?

Stichprobenfehler und Grundgesamtheit Zusammenhang zwischen Stichprobengrösse N und Grundgesamtheit? Prüfung der Zufallsstichprobe:

Hausaufgabe: Als Anzeigenleiter des “Spiegel” interessiert sie, wie viele Leute sich für Ihr Medium entscheiden würden, wenn sie auf einer einsamen Insel nur ein Nachrichtenmagazin beziehen dürften. Sie erwarten, dass etwa 40 % den “Spiegel” präferieren würden, 30 % “Focus”, 20 % den “Stern” und 10 % die “Max”. 1. Legen Sie zwei unterschiedliche, angemessene Niveaus statistischer Sicherheit fest und erklären Sie deren Bedeutung bei der späteren Interpretation der Daten. 2. Wie viele Personen müssen Sie in beiden Fällen befragen, wenn Sie bei dem erwarteten Ergebnis (40%) einen tatsächlichen Marktanteil des “Spiegel” von mindestens 35 % absichern wollen?

Nächste Sitzung AUSWAHLVERFAHREN !!! lesen: AD 330-367 !!!