Wahrnehmung gesprochener Sprache Glenn Schütze Titelfolie

Gliederung Akustisches Sprachsignal Sprachwahrnehmung Motorische Theorie Kategorien Kontinuum (neues Paradigma) Experimente Lauttrennung / Variation des Sprechers Sprachliches Vorwissen Weitere Modelle Fragen

Akustisches Sprachsignal

Akustisches Sprachsignal Beschreibung des Sprachsignals Phoneme Kleinste lautliche Segmente Bedeutungsunterscheidend, aber nicht bedeutungstragend Phonetische Merkmale Physische Bewegung des Stimmtraktes Als akustisches Signal Schall des eigentlichen Signals Zeitabhängige Frequenz- und Intensitätsmuster

Akustisches Sprachsignal Phoneme Zerlegung des Signals in Einheiten Beziehen sich auf Laute, nicht Buchstaben Bsp.: /b/ bedeutungsunterscheidend, trägt aber keine Semantik Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut Bier /b/ /i:/ /R/ Pier /p/ /i:/ /R/ Biel /b/ /i:/ /l/

Akustisches Sprachsignal Phonetisches Merkmal Definiert über Produktion des Lautes im Stimmtrakt Dadurch: Beschreibung der Phoneme Sonorität (stimmhaft, stimmlos) /d/ und /f/ Artikulationsstelle (Verschluss-, Reibelaute) Differenzierung sehr viel umfangreicher als hier angegeben

Akustisches Sprachsignal Akustisches Sprachsignal (physikalisch) Betrachtung der Frequenz, Intensität im zeitlichen Verlauf Dadurch: Sprachsignalmerkmal Teil des akustischen Signals Abbildung auf Phoneme Formant Vokal Formantenansatz Konsonant Abhängig von der Stellung des Stimmtrakts

Akustisches Sprachsignal Zusammenfassung Akustisches Sprachsignal in Phoneme aufgliederbar Phoneme beschreibbar mit Sprachsignalmerkmalen Problem Zusammenhang zwischen akustischen Sprachsignalen und gehörten Lauten Sprachwahrnehmung 4. Punke : Kuner: beim jdk liegt einer bei

Sprachwahrnehmung Sprachwahrnehmung

Sprachwahrnehmung Idealisierendes Modell Sprachproduktion Akustisches Signal Phoneme Muster von Schalldruckschwankungen mit verschiedenen Frequenzen Auditives System Bison Flex nach gnu.org Dekodierung Reanalyse als Phonem Wahrnehmung des Sprachproduktes

Sprachwahrnehmung Problem Begründung Es gibt keinen konstanten Zusammenhang zwischen Phonemen und Mustern der Druckschwankungen Begründung Variabilität Problem der Bildung von Einheiten aus dem Sprachsignalfluss

Sprachwahrnehmung - Variabilität Keine 1:1 Zuordnung von Phonemen zu Sprachsignalmerkmalen Kontext der Phoneme verändert Sprachsignalmerkmale Bsp.: Bsp2 Verlauf der Formanten- Bad Boot ansätze verschieden /b/ anders mit gespitztem Mund /d/ wird anders „ausge- sprochen“, je nach folgendem Vokal

Sprachwahrnehmung - Variabilität Wahrnehmungskonstanz Akustisches Signal A Akustisches Signal B Phonem X Akustisches Signal C Phoneme werden immer gleich wahrgenommen, obwohl: Artikulationsfluss ändert das akustische Signal . . .

Sprachwahrnehmung - Variabilität Arten der Variabilität Individuumsabhängig Regionsabhängig Geschlechtsabhängig Artikulationsabhängig Bsp.: „Ich gehe heute ins Kino.“ Gehe heute :zusammengezogen

Sprachwahrnehmung - Variabilität Problem wegen Variabilität Bildung von Einheiten (es gibt normalerweise keine Pausen)

Sprachwahrnehmung Fragen Existieren spezifische Mechanismen für die Sprachwahrnehmung? Abgrenzung zum allgemeinen auditiven System Existieren Informationen zur Trennung im Signalfluss? Ist sprachliches „Vorwissen“ relevant?

der Sprachwahrnehmung Motorische Theorie Motorische Theorie der Sprachwahrnehmung

Motorische Theorie Motorische Theorie der Sprachwahrnehmung Nach Liberman (1967) Postulat Sprache als Signalform, die erzeugt und wahrgenommen wird Ein spezifisches System Hypothetisches, neuronales Netz Motorisch : Bewegung des Stimmtraktes

Dekodierungsmechanismus Motorische Theorie Modell nach Liberman Sprachsignal Dekodierungsmechanismus Verarbeitungs- Einheit für Phoneme Reproduktion der Aktivität im Stimmtrakt Phonetische Merkmale Reproduktion …Aktivität, die zur Erzeugung des Signals führte Hypothetisches neuronales Netz Von den Merkmalen erzeugte Laute Sprachwahrnehmung

Motorische Theorie Sprache behandelt als etwas Besonderes Durch Ermittlung phonetischer Merkmale Problem der Variabilität vermieden Bis hierhin: Modell Ein Phonem kann mehrere versch. Sprachsignalmerkmale haben, Aber jedes Phonem durch nur ein best Satz an phonetischen Merkmalen beschreibbar!!

Experimente zu Liberman

Experimente zu Liberman Empirische Belege / Experimente Kategoriale Wahrnehmung McGurk-Effekt Duale auditive Wahrnehmung

Experimente zu Liberman Kategoriale Wahrnehmung Idee Experiment Phonem-Identifizierung Phonem-Unterscheidung Begrenzte Anzahl von Wahrnehmungs- kategorien Sprachsignal

Experimente zu Liberman Identifizierung der Phoneme Schrittweise Veränderung der Vokaleinsatzzeit von /da/ zu /ta/ Nach Eimas und Corbit (1973)

Experimente zu Liberman Unterscheidung der Phoneme A, B, C Phoneme Darbietung: A B C ,wobei A ≠ B und C = A oder C = B Schlechte Unterscheidung innerhalb einer Kategorie, sonst gut Autoren schließen (Grundsatz der kategoriellen Wahrnehmung) Laute unterscheidbar nur bei vorheriger Kategorisierung

Experimente zu Liberman Neues Paradigma (statt Kategorie, Kontinuum) Experiment Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983) Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch Kommunikations- ebene Kommunikations- ebene Kategorisch Nicht kategorisch Kategorisch Sprachwahrnehmungs- ebene Sprachwahrnehmungs- ebene

Experimente zu Liberman Nachweis der Kategorien auch bei Geräuschen Summen Musik Affen, die über keine Sprache verfügen Durch Miller, Pisoni, Zatorre, Halpern (1976-1979) Andere Richtung Nicht kategorisch, sondern fortlaufend Neues Modell nötig

Experimente zu Liberman McGurk-Effekt Person im Video spricht /ga-ga/ Zu Hören ist /ba-ba/ Proband nimmt wahr /da-da/ Verbindung zwischen auditivem und visuellem System Existiert Sprachverarbeitungssystem Benutzung aller Informationen zur Analyse des Signals

Experimente zu Liberman McGurk-Effekt bei nichtsprachlichen Signalen Video Cellosaite wird gezupft Ton Saite wird gestrichen Proband sieht gestrichene Saite Proband hört gezupfte Saite Effekt ist schwächer als bei Sprache Aber: Infragestellen des spezifischen Sprachverarbeitungsmechanismus (Saldana und Rosenblum 1993)

Experimente zu Liberman Duale auditive Wahrnehmung Whalen und Liberman 1987 Zu hören: Zirpen Zu hören: /da/ Linkes Ohr Rechtes Ohr

Experimente zu Liberman Anhänger Libermans: zwei Wahrnehmungsweisen Sprachmodus Fügt alle Informationen zusammen Allgemeiner auditiver Modus Aber Auch duale auditive Wahrnehmung bei nichtsprachlichen Signalen Fowler und Rosenblum (1990) Wissenschaftliche Debatte hält an

Lauttrennung / Variationen des Sprechers und Variationen des Sprechers

Lauttrennung / Variationen des Sprechers Suche nach invariante Sprachsignalmerkmalen Analyse von 3D-Frequenzspektren Weisen konstante Merkmale auf

Lauttrennung / Variationen des Sprechers Variation/Normalisierung Ausgleich von Unterschieden der Sprechweise verschiedener Sprecher auf der untersten Ebene der Wahrnehmung Insbesondere Frequenzen Experiment mit McGurk (s.o.) Visuell Frau Auditiv männliche Stimme Trotzdem McGurk-Effekt Folgerung: Normalisierung findet statt

Sprachliches Vorwissen

Sprachliches Vorwissen Bisher „Bottom Up“ Von den Lauten zum Verstehen Nun „Top Down“ Vorwissen Sprachwahrnehmung Akustisches Sprachsignal

Sprachliches Vorwissen Wahrnehmung kontextabhängig Einheitenbildung „DruckERzeugnis“ (Duden) „I scream, you scream, everybody wants icecream“ (Chris Barber) Semantik, Syntax Experiment (Isard, Miller 1963) Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze Hörer sprach nach (shadowing) 89, 79, 56% jeweils richtig nachgesprochen Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet

Sprachliches Vorwissen Phonemergänzung Experiment (Warren 1970) „Legislativkörperschaften“ Husten bei /s/, jedoch keine genaue Lokalisation, trotzdem /s/ „gehört“ „Nun kam der Augenblick zu (x)inken“ x ist Konsonant, z.B. x = s, x = w, … Wenn Szenenthema „Abschied“ dann winken

Weitere Modelle Weitere Modelle Nicht kategorial

Weitere Modelle Fuzzy Logical Model of Perception (FLMP) Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis Transformation in psychologische Werte Informationsquellen Auditiv Ai Auswertung Visuell Vj Bietet Unterstützungsgrad für jede Sprachalternative k ai vj Psychologische Werte Integration sk Grad der Unterstützung Auswahl einer der Alternativen Entscheidung Rk t

Weitere Modelle Voraussetzungen Modell der Mustererkennung Jede Informationsquelle wird bewertet Bestimmung des Grades um Alternativen einzuschränken Informationsquellen werden unabhängig bewertet Modell der Mustererkennung (Massaro 2001)

Schlussbetrachtung Schlussbetrachtung

Schlussbetrachtung Neue Modell werden erforscht Alte Modelle sind teilweise unzureichend respektive zu unkonkret Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an

Quellen Quellen

Quellen Wahrnehmungspsychologie Speech Processing Allgemeine Grundlagen Goldstein (1997) Speech Processing Aktuelle Forschung Zeng, F.G. (1999) Grundfragen der allgemeinen Sprachwissenschaft Kommunikationsmodell Saussure (1931)

Fragen