Wahrnehmung gesprochener Sprache

Präsentation zum Thema: "Wahrnehmung gesprochener Sprache"—  Präsentation transkript:

1 Wahrnehmung gesprochener Sprache
Glenn Schütze Titelfolie

2 Gliederung Akustisches Sprachsignal Sprachwahrnehmung
Motorische Theorie Kategorien Kontinuum (neues Paradigma) Experimente Lauttrennung / Variation des Sprechers Sprachliches Vorwissen Weitere Modelle Fragen

3 Akustisches Sprachsignal

4 Akustisches Sprachsignal
Beschreibung des Sprachsignals Phoneme Kleinste lautliche Segmente Bedeutungsunterscheidend, aber nicht bedeutungstragend Phonetische Merkmale Physische Bewegung des Stimmtraktes Als akustisches Signal Schall des eigentlichen Signals Zeitabhängige Frequenz- und Intensitätsmuster

5 Akustisches Sprachsignal
Phoneme Zerlegung des Signals in Einheiten Beziehen sich auf Laute, nicht Buchstaben Bsp.: /b/ bedeutungsunterscheidend, trägt aber keine Semantik Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut Bier /b/ /i:/ /R/ Pier /p/ /i:/ /R/ Biel /b/ /i:/ /l/

6 Akustisches Sprachsignal
Phonetisches Merkmal Definiert über Produktion des Lautes im Stimmtrakt Dadurch: Beschreibung der Phoneme Sonorität (stimmhaft, stimmlos) /d/ und /f/ Artikulationsstelle (Verschluss-, Reibelaute) Differenzierung sehr viel umfangreicher als hier angegeben

7 Akustisches Sprachsignal
Akustisches Sprachsignal (physikalisch) Betrachtung der Frequenz, Intensität im zeitlichen Verlauf Dadurch: Sprachsignalmerkmal Teil des akustischen Signals Abbildung auf Phoneme Formant Vokal Formantenansatz Konsonant Abhängig von der Stellung des Stimmtrakts

8 Akustisches Sprachsignal
Zusammenfassung Akustisches Sprachsignal in Phoneme aufgliederbar Phoneme beschreibbar mit Sprachsignalmerkmalen Problem Zusammenhang zwischen akustischen Sprachsignalen und gehörten Lauten Sprachwahrnehmung 4. Punke : Kuner: beim jdk liegt einer bei

9 Sprachwahrnehmung Sprachwahrnehmung

10 Sprachwahrnehmung Idealisierendes Modell Sprachproduktion
Akustisches Signal Phoneme Muster von Schalldruckschwankungen mit verschiedenen Frequenzen Auditives System Bison Flex nach gnu.org Dekodierung Reanalyse als Phonem Wahrnehmung des Sprachproduktes

11 Sprachwahrnehmung Problem Begründung
Es gibt keinen konstanten Zusammenhang zwischen Phonemen und Mustern der Druckschwankungen Begründung Variabilität Problem der Bildung von Einheiten aus dem Sprachsignalfluss

12 Sprachwahrnehmung - Variabilität
Keine 1:1 Zuordnung von Phonemen zu Sprachsignalmerkmalen Kontext der Phoneme verändert Sprachsignalmerkmale Bsp.: Bsp2 Verlauf der Formanten- Bad Boot ansätze verschieden /b/ anders mit gespitztem Mund /d/ wird anders „ausge- sprochen“, je nach folgendem Vokal

13 Sprachwahrnehmung - Variabilität
Wahrnehmungskonstanz Akustisches Signal A Akustisches Signal B Phonem X Akustisches Signal C Phoneme werden immer gleich wahrgenommen, obwohl: Artikulationsfluss ändert das akustische Signal . . .

14 Sprachwahrnehmung - Variabilität
Arten der Variabilität Individuumsabhängig Regionsabhängig Geschlechtsabhängig Artikulationsabhängig Bsp.: „Ich gehe heute ins Kino.“ Gehe heute :zusammengezogen

15 Sprachwahrnehmung - Variabilität
Problem wegen Variabilität Bildung von Einheiten (es gibt normalerweise keine Pausen)

16 Sprachwahrnehmung Fragen Existieren spezifische Mechanismen
für die Sprachwahrnehmung? Abgrenzung zum allgemeinen auditiven System Existieren Informationen zur Trennung im Signalfluss? Ist sprachliches „Vorwissen“ relevant?

17 der Sprachwahrnehmung
Motorische Theorie Motorische Theorie der Sprachwahrnehmung

18 Motorische Theorie Motorische Theorie der Sprachwahrnehmung
Nach Liberman (1967) Postulat Sprache als Signalform, die erzeugt und wahrgenommen wird Ein spezifisches System Hypothetisches, neuronales Netz Motorisch : Bewegung des Stimmtraktes

19 Dekodierungsmechanismus
Motorische Theorie Modell nach Liberman Sprachsignal Dekodierungsmechanismus Verarbeitungs- Einheit für Phoneme Reproduktion der Aktivität im Stimmtrakt Phonetische Merkmale Reproduktion …Aktivität, die zur Erzeugung des Signals führte Hypothetisches neuronales Netz Von den Merkmalen erzeugte Laute Sprachwahrnehmung

20 Motorische Theorie Sprache behandelt als etwas Besonderes
Durch Ermittlung phonetischer Merkmale Problem der Variabilität vermieden Bis hierhin: Modell Ein Phonem kann mehrere versch. Sprachsignalmerkmale haben, Aber jedes Phonem durch nur ein best Satz an phonetischen Merkmalen beschreibbar!!

21 Experimente zu Liberman

22 Experimente zu Liberman
Empirische Belege / Experimente Kategoriale Wahrnehmung McGurk-Effekt Duale auditive Wahrnehmung

23 Experimente zu Liberman
Kategoriale Wahrnehmung Idee Experiment Phonem-Identifizierung Phonem-Unterscheidung Begrenzte Anzahl von Wahrnehmungs- kategorien Sprachsignal

24 Experimente zu Liberman
Identifizierung der Phoneme Schrittweise Veränderung der Vokaleinsatzzeit von /da/ zu /ta/ Nach Eimas und Corbit (1973)

25 Experimente zu Liberman
Unterscheidung der Phoneme A, B, C Phoneme Darbietung: A B C ,wobei A ≠ B und C = A oder C = B Schlechte Unterscheidung innerhalb einer Kategorie, sonst gut Autoren schließen (Grundsatz der kategoriellen Wahrnehmung) Laute unterscheidbar nur bei vorheriger Kategorisierung

26 Experimente zu Liberman
Neues Paradigma (statt Kategorie, Kontinuum) Experiment Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983) Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch Kommunikations- ebene Kommunikations- ebene Kategorisch Nicht kategorisch Kategorisch Sprachwahrnehmungs- ebene Sprachwahrnehmungs- ebene

27 Experimente zu Liberman
Nachweis der Kategorien auch bei Geräuschen Summen Musik Affen, die über keine Sprache verfügen Durch Miller, Pisoni, Zatorre, Halpern ( ) Andere Richtung Nicht kategorisch, sondern fortlaufend Neues Modell nötig

28 Experimente zu Liberman
McGurk-Effekt Person im Video spricht /ga-ga/ Zu Hören ist /ba-ba/ Proband nimmt wahr /da-da/ Verbindung zwischen auditivem und visuellem System Existiert Sprachverarbeitungssystem Benutzung aller Informationen zur Analyse des Signals

29 Experimente zu Liberman
McGurk-Effekt bei nichtsprachlichen Signalen Video Cellosaite wird gezupft Ton Saite wird gestrichen Proband sieht gestrichene Saite Proband hört gezupfte Saite Effekt ist schwächer als bei Sprache Aber: Infragestellen des spezifischen Sprachverarbeitungsmechanismus (Saldana und Rosenblum 1993)

30 Experimente zu Liberman
Duale auditive Wahrnehmung Whalen und Liberman 1987 Zu hören: Zirpen Zu hören: /da/ Linkes Ohr Rechtes Ohr

31 Experimente zu Liberman
Anhänger Libermans: zwei Wahrnehmungsweisen Sprachmodus Fügt alle Informationen zusammen Allgemeiner auditiver Modus Aber Auch duale auditive Wahrnehmung bei nichtsprachlichen Signalen Fowler und Rosenblum (1990) Wissenschaftliche Debatte hält an

32 Lauttrennung / Variationen des Sprechers
und Variationen des Sprechers

33 Lauttrennung / Variationen des Sprechers
Suche nach invariante Sprachsignalmerkmalen Analyse von 3D-Frequenzspektren Weisen konstante Merkmale auf

34 Lauttrennung / Variationen des Sprechers
Variation/Normalisierung Ausgleich von Unterschieden der Sprechweise verschiedener Sprecher auf der untersten Ebene der Wahrnehmung Insbesondere Frequenzen Experiment mit McGurk (s.o.) Visuell Frau Auditiv männliche Stimme Trotzdem McGurk-Effekt Folgerung: Normalisierung findet statt

35 Sprachliches Vorwissen

36 Sprachliches Vorwissen
Bisher „Bottom Up“ Von den Lauten zum Verstehen Nun „Top Down“ Vorwissen Sprachwahrnehmung Akustisches Sprachsignal

37 Sprachliches Vorwissen
Wahrnehmung kontextabhängig Einheitenbildung „DruckERzeugnis“ (Duden) „I scream, you scream, everybody wants icecream“ (Chris Barber) Semantik, Syntax Experiment (Isard, Miller 1963) Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze Hörer sprach nach (shadowing) 89, 79, 56% jeweils richtig nachgesprochen Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet

38 Sprachliches Vorwissen
Phonemergänzung Experiment (Warren 1970) „Legislativkörperschaften“ Husten bei /s/, jedoch keine genaue Lokalisation, trotzdem /s/ „gehört“ „Nun kam der Augenblick zu (x)inken“ x ist Konsonant, z.B. x = s, x = w, … Wenn Szenenthema „Abschied“ dann winken

39 Weitere Modelle Weitere Modelle Nicht kategorial

40 Weitere Modelle Fuzzy Logical Model of Perception (FLMP)
Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis Transformation in psychologische Werte Informationsquellen Auditiv Ai Auswertung Visuell Vj Bietet Unterstützungsgrad für jede Sprachalternative k ai vj Psychologische Werte Integration sk Grad der Unterstützung Auswahl einer der Alternativen Entscheidung Rk t

41 Weitere Modelle Voraussetzungen Modell der Mustererkennung
Jede Informationsquelle wird bewertet Bestimmung des Grades um Alternativen einzuschränken Informationsquellen werden unabhängig bewertet Modell der Mustererkennung (Massaro 2001)

42 Schlussbetrachtung Schlussbetrachtung

43 Schlussbetrachtung Neue Modell werden erforscht
Alte Modelle sind teilweise unzureichend respektive zu unkonkret Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an

44 Quellen Quellen

45 Quellen Wahrnehmungspsychologie Speech Processing
Allgemeine Grundlagen Goldstein (1997) Speech Processing Aktuelle Forschung Zeng, F.G. (1999) Grundfragen der allgemeinen Sprachwissenschaft Kommunikationsmodell Saussure (1931)

46 Fragen