Experimente in der Linguistik 2. Vorlesung (28.10.2010) apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie ulrich.schade@fkie.fraunhofer.de

Experimente in der Linguistik Kontaktdaten apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) Neuenahrer Straße 20 53343 Wachtberg E-Mail: ulrich.schade@fkie.fraunhofer.de Telefon: 0228 9435 376 Fax: 0228 9435 685

Experimente in der Linguistik Scheinkriterien Leistungsschein: Anwesenheit  (= maximal zweimal unentschuldigtes Fehlen) Mitwirken an einem selbst gewählten Experiment (Gruppen bis zu 3) Präsentation des Experiments und seiner Ergebnisse (15 Minuten) Dokumentation des Experiments Teilnahmeschein: Anwesenheit 

Experimente in der Linguistik Überblick Folgende Aspekte werden in der Vorlesung behandelt: Einführung Zur wissenschaftstheoretischen Bedeutung von Experimenten Hypothesenbildung Statistische Auswertung Beispiele für Experimente in der Linguistik

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Definition: Experiment nach Wikipedia ( http://de.wikipedia.org/wiki/Experiment ) Ein Experiment (von lateinisch experimentum „Versuch, Beweis, Prüfung, Probe“) im Sinne der Wissenschaft ist eine methodisch angelegte Untersuchungsanordnung.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Definition: Experiment nach Wikipedia ( http://de.wikipedia.org/wiki/Experiment ) Experimentelle Forschung unterscheidet sich von nichtexperimenteller Forschung in zwei Punkten: Aktive Veränderung, indem der Experimentator systematisch mindestens eine Unabhängige Variable variiert und registriert, welchen Effekt diese aktive Veränderung auf die Abhängige Variable hat. Ausschaltung der Wirkung anderer Variablen (Kontrolle von Störfaktoren)

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Definition: Experiment nach Wikipedia ( http://de.wikipedia.org/wiki/Experiment ) Ein Experiment unterscheidet sich von der reinen Betrachtung dadurch, dass zunächst eine genau definierte Situation präpariert wird. Anschließend wird das Verhalten des präparierten Systems beobachtet beziehungsweise gemessen und mit den Voraussagen des zugrunde liegenden Modells verglichen. Auf diese Weise kann eine in einer Theorie gemachte Behauptung (These / Hypothese) untersucht werden, und das Experiment kann diese entweder stützen oder widerlegen.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Definition: Experiment (experiment, experimental investigation). [1] Verfahren zur empirischen Überprüfung von Beziehungen zwischen unabhängigen und abhängigen Variablen unter kontrollierten, objektiven und wiederholbaren Bedingungen. Fröhlich (2003: 170ff) Fröhlich, Werner (2003): Wörterbuch Psychologie. München: dtv, 24. Auflage (Neuere Auflagen sind vorhanden.)

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Intuition Evaluation Modell Experiment Theorie Simulation

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Intuition Modell Aus der Beobachtung von Phänomenen und Daten lassen sich Modelle ableiten, welche möglichst zu den beobachteten Phänomenen und Daten passen sollten.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Komplexe Modelle müssen mit Simulationen auf ihre interne Widerspruchsfreiheit (Kohärenz) hin überprüft werden. Intuition Modell Simulation

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Erst nach einer solchen Überprüfung gilt: “Whether or not it is the right theory depends on whether it fits the facts [ = Phänomene / Daten], but at least it has succeeded in avoiding vagueness, confusion, and the mystical incantation of empty verbal formulae.” Johnson-Laird, P.N. (1988): The Computer and the Mind: An Introduction to Cognitive Science. London: Fontana (S. 26)

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Was ist der Unterschied zwischen „Theorie“ und „Modell“? Intuition Modell Theorie Simulation

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Ein Modell ist ein Abbild des Untersuchungsgegenstands. Beispiele: Ein Sprachproduktionsmodell ist ein Modell des kognitiven Prozesses der Sprachproduktion. Kalottenmodell des Wassermoleküls

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Ein Modell ist ein Abbild des Untersuchungsgegenstands. Das Modell soll helfen, den Untersuchungsgegenstand besser zu verstehen. Daher werden nur die Eigenschaften des Untersuchungs-gegenstands berücksichtigt, die derjenigen, die das Modell aufstellt, als relevant erscheinen. Das Modell ist also eine „Verkürzung“ des Untersuchungsgegenstands. Durch diese Verkürzung kann das Modell auch Eigenschaften haben, von denen man weiß, dass sie falsch sind, oder Eigenschaften, die unter einander im Widerspruch stehen. Wichtig ist lediglich, den Untersuchungsgegenstand besser zu verstehen, um neue Erkenntnisse gewinnen zu können.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Auch Theorien sind vereinfachte Abbilder von Untersuchungs-gegenständen. Sie sollen aber auch intern widerspruchsfrei (konsistent) sein. Theorien (und Modelle) sollen auch überprüfbar sein. Eine solche Überprüfung geschieht durch Experimente.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Modell Experiment Modelle werden durch Experimente überprüft.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Modell Experiment Analyse Test Die Analyse der Modelle führt zu (manchmal unerwarteten) Vorhersagen, die man experimentell testet. Erkenntnis!

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Modell Experiment Test Die Analyse der Modelle schließt Simulationsläufe ein. Manchmal ergeben sich erst aus der Simulation die zu testenden Vorhersagen. Analyse Simulation

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Datengenerierung Modell Experiment Durchgeführte Experimente liefern (neue) Daten und zeigen (neue) Phänomene. Erkenntnis!

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der methodologische Zyklus Phänomene / Daten Evaluation Modell Experiment Für die durch die Experimente ermittelten Daten muss überprüft werden, ob sie durch das Modell vorhergesagt bzw. erklärt werden (Evaluation des Modells).

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Experimente bilden den Anker zur Wirklichkeit. Sie erlauben die Evaluation des Modells an der Wirklichkeit. Aus ihnen ergeben sich neue Daten zum Gegenstandsbereich und damit „Erkenntnisgewinn“.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten aber: Experimente „bestätigen“ oft nur bereits vorliegende Meinungen. Beispiel: Experiment zur Bestätigung des eigenen Modells. Experimente benötigen insofern den „Rückhalt“ von Modellen, als durch die Modelle die Vorgaben geklärt werden die gelten sollen. ( Überprüfbarkeit von Modellen)

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Gütekriterien für Modelle „Wahrheit“ / Widerspruchsfreiheit Ein Modell ist keine Theorie. Falsifizierbarkeit Gefordert ist Beschreibungsadäquatheit. Einfachheit Generalisierbarkeit Erklärungsadäquatheit Ziel: „Bewährung“ des Modells Was wird als wichtiger eingeschätzt?

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten „Wahrheit“ / Widerspruchsfreiheit sind nicht immer wichtig. Sie behindern unter Umständen den Erkenntnisgewinn bzw. die Verbesserung eines Modells, weil sich der Erkenntnisgewinn nur aus einem unvollkommeneren Modell ergibt. Wir fordern aber in jedem Fall, dass ein Modell überprüfbar sein soll. Das bedeutet insbesondere auch, dass es falsifiziert werden kann. Wichtig ist auch die Beschreibungsadäquatheit: Das Modell soll die relevanten Aspekte so beschreiben, wie es den Daten entspricht.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Einfachheit und Generalisierbarkeit sind oft nicht zugleich erreichbar. Man kann ein Modell komplexer gestalten, um damit zusätzliche Daten über den Gegenstandsbereich zu erklären. Hat man zwei Modelle, die dieselben Daten erklären, nutzt man das einfachere (Occam‘s Razor). [Wilhelm von Ockham, 1285-1347] Einfachere Modelle sind im Prinzip leichter zu falsifizieren.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten „Bewährung“ nach Karl Popper (1934/1935): Logik der Forschung. Wir sagen nicht, dass der Ausgang eines Experiments (im Erfolgsfall) ein Modell „beweist“, sondern dass sich das Modell „bewährt“ – Gegenteil der Falsifikation –, weil z.B. das Modell durch das nächste Experiment falsifiziert werden könnte. Sir Karl Raimund Popper 1902-1994

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Bewährung des Modells M Aus dem Modell M sowie aus allgemein akzeptierten Annahmen H lässt sich P ableiten. P ist nicht bereits allgemein akzeptiert und nicht aus H allein ableitbar. Es gibt kein bereits akzeptiertes Modell L, für das a) gilt. Im Gegenteil: Aus allgemein akzeptierten Modellen und H ist P ableitbar.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Der günstigste Fall für die Durchführung eines Experiments liegt dann vor, wenn es zwei Modelle M1 und M2 gibt und aus dem einen Modell P und aus dem anderen Modell ¬P ableitbar ist. In diesem Fall ist das Experiment so zu gestalten, dass sich entweder P oder ¬P als Resultat ergibt. Dies ist nicht immer so einfach, wie es klingt. Beispielsweise gibt es konkurrierende physikalische Modelle, die P bzw. ¬P vorhersagen, wobei aber das entscheidende Experiment nicht durchgeführt werden kann, weil ein entsprechendes Experiment eine zu große Energiedichte voraussetzt.

Experimente in der Linguistik Zur wissenschaftstheoretischen Bedeutung von Experimenten Wir betrachten hier keinen Gegenstandsbereich der Physik, sondern als Gegenstandsbereich kognitive Prozesse wie den Spracherwerb, die Sprachproduktion und die Sprachrezeption (bzw. deren Teilprozesse). Die wissenschaftstheoretischen Grundlagen sind aber häufig dieselben. Auch in der psycholinguistischen Forschung sind nicht alle möglichen Experimente durchführbar, manchmal insbesondere auch aus ethischen Gründen.

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Zweistufenansatz kaskadierendes interaktives Modell Modell Konzept Konzept Konzept t1 Lemma Lemma Lemma t2 Form Form Form t1 t2 t1 t1 t2 t2

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Das interaktive Modell verfügt (im Gegensatz zu den anderen beiden Modellen) über eine „Feedback“-Verbindung zwischen den Lemmata und den Wortformen. Gibt es diese, sollte sie sich in Bezug auf Wortversprecher auswirken. Bei Wortversprecher gibt es solche, bei denen sich das Zielwort und das Fehlerwort semantisch ähneln, und solche, bei denen sie sich „formal“ ähneln. Eine „Feedback“-Verbindung müsste bewirken, dass es viele Wort-versprecher gibt, bei denen sie sich in beiderlei Hinsicht ähneln.

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Wortversprecher mit semantischer Ähnlichkeit Das hat sie mir am Radio gesagt. Der war in der neunten Schule. Wortversprecher mit formaler Ähnlichkeit Wenn ich das auf zwei Professoren ähh Prozessoren verteile ... Das letzte Stück hat mir besonders gut gefallen, das war ein Flamingo.

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Das Experiment zu diesem Beispiel kann nun darin bestehen, dass man ein Korpus von Versprechern erstellt (oder ein bestehendes nutzt), um darin die Wortversprecher zu ermitteln. Dann schaut man sich diejenigen Wortversprecher an, bei denen Zielwort und Fehlerwort semantisch ähnlich sind. Für diejenigen bestimmt man dann den Anteil derer, bei denen Zielwort und Fehlerwort auch formal ähnlich sind.

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Problem 1: Wann sind Zielwort und Fehlerwort semantisch ähnlich? Wann sind Zielwort und Fehlerwort formal ähnlich? Problem 2: Wie hoch ist die Chance, dass Ziel- und Fehlerwort sowohl semantisch als auch formal ähnlich sind, ohne dass dies durch das Modell evoziert wird? (Zufallswahrscheinlichkeit)

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff zu Problem 1: (Operationalisierung der Ähnlichkeiten) Wann sind Zielwort und Fehlerwort semantisch ähnlich? beim Vorliegen einer semantischen Relation zwischen beiden (insbesondere: Ziel und Fehler sind Ko-Hyponyme) Wann sind Zielwort und Fehlerwort formal ähnlich? gleiche Silbenanzahl, gleicher Anfangslaut, …

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff zu Problem 2: Unterschiedliche Autoren stellen dazu unterschiedliche Ansätze vor und kommen entsprechend zu unterschiedlichen Ergebnissen. Wir betrachten als Beispiel dafür folgendes klassisches Paper Dell, Gary S. & Reich, P. (1981). Stages in Sentence Production: An Analysis of Speech Error Data. Journal of Verbal Learning and Verbal Behavior, 20, 611-629.

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Liste 1: Zielwörter und zugehörige Fehlerwörter aus dem Versprecherkorpus (289 Paare, davon 130 Paare mit semantischer Relation [= Antonyme, Ko-Hyponyme, Hyperonyme, Hyponyme, keine Assoziationen]) Liste 2: 464 Synonympaare

Experimente in der Linguistik Beispiel konkurrierender Modelle im Bereich Sprachproduktion, Teilprozess: lexikalischer Zugriff Übereinstimmung in sem. Fehler Synonyme 1. Phonem 20% 9% 2. Phonem 16% 8% 3. Phonem 11% 7% 4. Phonem 17% 8% Dieses Ergebnis spricht eher für ein interaktive Modell.