Experimente in der Linguistik 6. Vorlesung (25.11.2010) apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie ulrich.schade@fkie.fraunhofer.de

Experimente in der Linguistik Kontaktdaten apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) Neuenahrer Straße 20 53343 Wachtberg E-Mail: ulrich.schade@fkie.fraunhofer.de Telefon: 0228 9435 376 Fax: 0228 9435 685

Experimente in der Linguistik Überblick Einführung Zur wissenschaftstheoretischen Bedeutung von Experimenten Hypothesenbildung – Grundlagen zu „Experiment“ – Arten von Experimenten – Hypothesen Statistische Auswertung Beispiele für Experimente in der Linguistik

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Mit der Varianzanalyse lässt sich prüfen, ob sich die Mittelwerte zweier (oder mehrerer) Messreihen signifikant voneinander unterscheiden. Man kann also die reale Messreihe mit einer „idealen“ Messreihe vergleichen! Varianzanalyse ist relativ komplex (hoher Rechenaufwand), so dass man sie meist mit Computern (Statistik-Programm) durchführt.

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Wir hatten schon in Bezug auf das Stichwort „Normalverteilung“ erkannt, dass die Abweichungen der Werte einer Messreihe vom Mittelwert von Wichtigkeit sind. Normalverteilung: Bestimmt man „aus einer beliebig verteilten Grundgesamtheit“ viele Stichproben, so verteilen sich die stichprobenbedingten Fehler „normal“.

Experimente in der Linguistik Statistische Auswertung: Varianz Die Varianz s2 ist die Summe der quadrierten Abweichungen vom arithmetischen Mittel (xarith) bezogen auf die Anzahl der Messwerte. Schritt 1: Wir bestimmen das arithmetische Mittel. Schritt 2: Wir berechnen für jeden Messwert xi seine quadrierte Abweichung: di2 = (xi – xarith)2 Weil wir quadrieren, sind alle diese Abweichungen positiv. Außerdem fallen stärkere Abweichung stärker ins Gewicht.

Experimente in der Linguistik Statistische Auswertung: Varianz Die Varianz s2 ist die Summe der quadrierten Abweichungen vom arithmetischen Mittel (xarith) bezogen auf die Anzahl der Messwerte. Schritt 3: Wir summieren die quadrierten Abweichung auf. Q = d12 + d22 + d32 + … + dn2 Schritt 4: Wir teilen Q durch die Anzahl der Messwerte s2 = Q / n

Experimente in der Linguistik Statistische Auswertung: Varianz Die Abbildung zeigt die Verteilung von Messwerten. Beide Verteilungen haben dasselbe arithmetische Mittel. Die orange Verteilung hat aber eine geringere Varianz als die grüne Verteilung. Die Wurzel aus der Varianz, s, nennt man auch Standardabweichung.; sie ist ein mathematisch äquivalentes Maß. aus http://de.wikipedia.org/wiki/Varianz

Experimente in der Linguistik Statistische Auswertung: Standardabweichung Es ist übliche Praxis, aus Messreihen die Werte zu entfernen, die mehr als zwei Standardabweichungen vom arithmetischen Mittel abweichen.

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 1: Berechne die mittlere quadrierte Summe aller Messwerte: Q = (xa1 + … + xan + xb1 + … + xbn)2 / 2n Schritt 2: Berechne die Summe aller quadrierten Messwerte R = xa12 + … + xan2 + xb12 + … + xbn2

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Schritt 3: Berechne für jede Messreihe einzeln die mittlere quadrierte Summe ihrer Messwerte: Sa = (xa1 + … + xan)2 / n Sb = (xb1 + … + xbn)2 / n Sofern die Messreihe unterschiedlich viele Werte haben, weil man zum Beispiel Werte herausgenommen hat, die in mehr als zwei Standardabweichungen vom arithmetischen Mittel der jeweilige Reihe abweichen, teilt man durch jeweils entsprechende Zahl der Messwerte.

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 4: Berechne die Summe der messreihenspezifischen S-Werte: S = Sa + Sb Schritt 5: Berechne den Testwert F

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 5: Berechne den Testwert F Freiheitsgrade v(eff) = # Messreihen – 1 = 1 v(error) = # Messwerte(gesamt) – # Anzahl der Messreihen = 2n – 2 v(total) = # Messwerte(gesamt) – 1 = 2n – 1

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 5: Berechne den Testwert F Quadratsummen nach Varianzquellen aufgeschlüsselt QS(eff) = S – Q QS(error) = R – S QS(total) = R – Q

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 5: Berechne den Testwert F Varianzen nach Varianzquellen aufgeschlüsselt MS(eff) = QS(eff) / v(eff) = (S – Q) / 1 = S – Q MS(error) = QS(error) / v(error) = (R – S) / (2n – 2) MS(total) = QS(total) / v(total) = (R – Q) / (2n – 1)

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Nehmen wir an, wir haben zwei unabhängige Messreihen a und b mit jeweils n Messwerten (xa1 bis xan und xb1 bis xbn). Schritt 5: Berechne den Testwert F Testwert: F = MS(eff) / MS(error) = (S – Q) (2n – 2) / (R – S) Wir schauen dann den kritischen F-Wert in einer Tabelle nach. Der Wert hängt ab von v(eff) = 1, v(error) = 2n – 2 und der Irrtumswahrscheinlichkeit, unter der wir liegen möchten. Ist der ermittelte F-Wert größer als der Tabellenwert, ist der Effekt entsprechend dem gewählten Niveau signifikant. (Die Messreihen sind unterschiedlich.)

Experimente in der Linguistik Statistische Auswertung: Beispiel zur Varianzanalyse Wir nehmen wieder unser Würfelbeispiel: Wir würfeln 48 Mal: 1, 4, 2, 1, 2, 3, 6, 1, 6, 2, 2, 6, 5, 1, 3, 6, 1, 2, 4, 6, 1, 2, 6, 4, 2, 6, 5, 1, 3, 1, 2, 6, 6, 1, 4, 3, 1, 4, 6, 2, 2, 6, 4, 1, 2, 2, 1, 6 Messwert 1: 12 Mal Messwert 2: 12 Mal Messwert 3: 4 Mal Messwert 4: 6 Mal Messwert 5: 2 Mal Messwert 6: 12 Mal

Experimente in der Linguistik Statistische Auswertung: Beispiel zur Varianzanalyse Wir vergleichen unsere Messreihe mit der idealen Messreihe, bei der jeder Würfelwert genau acht Mal gewürfelt wird. Wir haben damit zwei Messreihen mit je 48 Messwerten. Q = (154 + 168)2 / 96 = 1080,041666… R = 20 · 1 + 20 · 4 + 12 · 9 + 14 · 16 + 10 · 25 + 20 · 36 = 1402 Sschrott = 1542 / 48 = 494,08333… Sideal = 1682 / 48 = 588 S = 494,… + 588 = 1082,08333…

Experimente in der Linguistik Statistische Auswertung: Beispiel zur Varianzanalyse v(eff) = 1 v(error) = 2n – 2 = 94 v(total) = 2n – 1 = 95 QS(eff) = S – Q = 1082,08333… – 1080,04166… = 2,041666… QS(error) = R – S = 1402 – 1082,08333… = 319,91666… QS(total) = R – Q = 1402 – 1080,04166… = 321,95833… MS(eff) = QS(eff) / v(eff) = (S – Q) / 1 = 2,041666… MS(error) = QS(error) / v(error) = (R – S) / (2n – 2) = 3,403368… MS(total) = QS(total) / v(total) = (R – Q) / (2n – 1) = 3,3890…

Experimente in der Linguistik Statistische Auswertung: Beispiel zur Varianzanalyse F = MS(eff) / MS(error) = 0,6 v(eff) = 1 v(error) = 2n – 2 = 94 Irrtumswahrscheinlichkeit  ≤ 0.05 Tabellen-F für (1, 80, 0.05) = 3.96 Tabellen-F für (1, 100, 0.05) = 3.94 Die Messreihen unterscheiden sich nicht signifikant. Möglicherweise haben wir etwas falsch gemacht.

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Das Problem war nicht geeignet mittels einer Varianzanalyse behandelt zu werden. Dies ist auch sehr leicht zu erkennen. Bei der idealen Messwerteverteilung würde jeder Würfelwert gleich oft geworfen werden. Der Wert des arithmetischen Mittels ist dabei 3,5. Offensichtlich liegt bei einer solchen Messwerteverteilung keine Normalverteilung vor. Die würde davon ausgehen, dass besonders oft eine „3“ bzw. eine „4“ geworfen wird und besonders selten eine „1“ und eine „6“.

Experimente in der Linguistik Statistische Auswertung: Varianzanalyse Das eigentliche Problem liegt darin begründet, dass die Zahlenwerte des Würfels als Zahlen ausgewertet werden, obwohl sie eigentlich nur Symbole sind. Wir haben es bei der Skala, auf der wir messen, nicht mit einer kardinalen Skala zu tun, sondern mit einer Nominalskala. Die Varianzanalyse benötigt aber Messungen auf einer kardinalen Skala.

Experimente in der Linguistik Messen Variablen müssen messbar sein. Es werden unterschiedliche Skalen verwendet. Die wichtigsten sind Nominalskala Beispiel: Blutgruppe A, B, AB, Null Ordinalskala Beispiel: Kleidergröße S, M, L, XL, XXL Intervallskala Beispiel: Uhrzeit Verhältnisskala Beispiel: Länge (in Meter)

Experimente in der Linguistik Messen Kardinalskala: Die Messwerte sind Zahlen. Beispiele: Reaktionszeiten, Anzahl der richtigen Antworten, ... Ordinalskala: Die Messwerte sind gestufte Kategorien. Beispiele: Noten, +++ ++ + 0 - -- --- , ... Nominalskala: Die Messwerte sind prinzipiell gleichwertige Kategorien. Beispiele: das, was ein Würfel beim Würfeln zeigt; aktiv vs. passiv, ...

Experimente in der Linguistik Statistische Auswertung Welche Berechnung müssten wir in Bezug auf unseren Würfel eigentlich anstellen? Wir müssen folgende Frage beantworten: Weicht eine beobachtete Häufigkeitsverteilung signifikant ab von der zugehörigen theoretisch erwartbaren Verteilung? Dazu nutzt man den Chi²-Test nach Pearson.

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Voraussetzungen: Wir haben wiederum zwei unabhängige Messreihen a und b. Wir haben s nominale Kategorien (in unserem Fall 6 Kategorien). N ≥ 60 Die erwartbaren Häufigkeiten sollten ≥ 5 sein.

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Wir konstruieren eine Tabelle mit zwei Zeilen, jeweils eine für jede Messreihe, und s Spalten, jeweils eine für jede nominale Kategorie. Im Würfelbeispiel sieht diese Tabelle wie folgt aus: 1 2 3 4 5 6 schrott 12 ideal 8

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Schritt 2: Nach dem Erstellen der Tabelle werden die Zeilen und die Spaltensummen berechnet. 1 2 3 4 5 6  schrott 12 48 ideal 8 20 14 10 96

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Schritt 3: Für jedes Feld wird die zu erwartende Häufigkeit bestimmt. Diese ergibt sich in unserem Beispiel aus der Theorie. Die zweite Zeile zeigt die erwartbare Häufigkeit (= 8) sogar genau an. Hat man keine theoretischen Erkenntnisse, die diese Häufigkeiten festlegen, so berechnet man diese als eZS = nZ ·nS / N 1 2 3 4 5 6 schrott 10 7 ideal

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Schritt 4: Für jedes Feld wird die quadrierte Differenz zwischen Messwert und Erwartungswert berechnet und durch den Erwartungswert geteilt. 1 2 3 4 5 6 schrott 12 | 2 4 | 2 6 | 0.5 2 | 4.5 ideal 8 | 0

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Schritt 5: Der Testwert Chi2 ist nun die Summe aller dieser Werte. In unserem Fall ist Chi2 = 13. 1 2 3 4 5 6 schrott 12 | 2 4 | 2 6 | 0.5 2 | 4.5 ideal 8 | 0

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Schritt 6: Die Anzahl der Freiheitsgrade ist v = s – 1 (= 5) Wenn die Erwartungswerte aus der Theorie entnommen werden, ist v = 2s – 1 (= 11). Der Tabellenwert von Chi2 hängt vom Freiheitsgrad und der gewählten Irrtumswahrscheinlichkeit ab. Ist der erzielte Wert höher als der Tabellenwert, haben wir wiederum einen signifikanten Häufigkeitsunterschied.

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Auswertung: theoriebestimmter Erwartungswert: Chi2 = 13 v = 11  ≤ 0.05 Tabellenwert: 19.675 kein signifikanter Effekt Was würden wir für den berechneten Erwartungswert erhalten?

Experimente in der Linguistik Statistische Auswertung: Chi²-Test 1 2 3 4 5 6 schrott 12|10|0.4 4|6|0.67 6|7|0.14 2|5|1.8 ideal 8|10|0.4 8|6|0.67 8|7|0.14 8|5|1.8 6 · 0,4 + 2 · 0,67 + 2 · 0,14 + 2 · 1,8 = 7,61

Experimente in der Linguistik Statistische Auswertung: Chi²-Test Auswertung: theoriebestimmter Erwartungswert: Chi2 = 13 v = 11  ≤ 0.05 Tabellenwert: 19.675  kein signifikanter Effekt berechneter Erwartungswert: Chi2 = 7.61 v = 5  ≤ 0.05 Tabellenwert: 11.071 kein signifikanter Effekt Auch mit dem Chi2-Test können wir keinen signifikanten Unterschied in den Messreihen nachweisen.