Prosodieverarbeitung

Präsentation zum Thema: "Prosodieverarbeitung"—  Präsentation transkript:

1 Prosodieverarbeitung
Generelle Herangehensweisen: Identifikation notwendiger Hirnstrukturen und neuronaler Mechanismen. B) Analyse akustischer Mechanismen, Identifikation relevanter Parameter im Sprachsignal. Trennung von linguistischer und emotionaler Prosodie.

2 Affektive Prosodie (siehe Ross, Affective Prosody and the Aprosodias. In M. Mesulam (Ed.) ´Principles of Behavioral and Cognitive Neurology). Klassische Annahme: Die linke Hemisphäre ist sprachdominant (Broca/Wernicke). Neuere Erkenntnis: rechts-hemisphärische Rolle bei der Verarbeitung von emotionaler Prosodie, genereller Thematik, Konnotation, Metaphorik, etc. Prosodie: Die Melodie/Musik der Sprache. Prosodie enthält die Elemente Höhe, Intonation, Melodie, Tonfall, Lautheit, Timbre, Geschwindigkeit, Betonung, Akzent und Segmentierung/Pausen. Unterscheidung: Lexikalische Prosodie(-> Dysambiguierung/Tonsprachen) – Affektive Prosodie.

3 Erste Studien zur Prosodie und Aprosodie:
Monrad-Krohn (2. Weltkrieg): Norwegische Patientin mit links-frontaler Granatsplitter-Verletzung -> Broca Aphasie, die sich gut zurückbildet. Bleibender Schaden: ´Deutscher Akzent´ als Folge falscher Betonung und Sprachsegmentierung. Dysprosodie: Veränderung der Stimmqualität zu einem `Fremdakzent-Syndrom´ (Folge von Hirnschädigung). Aprosodie: Verlust der emotionalen Stimmqualität (z.B. bei Parkinson). Hyperprosodie: z.B. bei manischen Zuständen und Kompensationsmechanismus bei Aphasie (besonders Broca), zum Ausgleich limitierten Wortschatzes.

4 Frühe Studien zur neuronalen Verarbeitung affektiver Prosodie:
Hughlings-Jackson (1915): Rechte Hemisphäre hat prominente Rolle bei Affektverarbeitung. Heilman et al. (1975): Unterscheidung von emotionaler Prosodie bei neutralen Sätzen ist bei Patienten mit rechts-posterioren Läsionen stärker gestört als bei Patienten mit links-hemisphärischen Läsionen oder Kontrollen. Tucker et al. (1977): Patienten mit rechts-parietalen Läsionen haben Problem mit der Produktion affektiver Prosodie (sowohl Wiederholung als auch instruiert). Mesulam (1979): Zwei Patienten mit rechts-anterioren Läsionen im supra-sylvischen Bereich. Bei erhaltenen lexikalischen Sprachfertigkeiten Unfähigkeit zur emotionalen Stimmmodulation. (Konsequenz: Verlust des Arbeitsplatzes/Scheidung). Ross (1981): Funktionelle Neuroanatomie der Aprosodien spiegelt die der Aphasien wider, allerdings in der rechten Hemisphäre. Ausserdem Rolle subkortikaler Strukturen, wie der Basalganglien.

5 Beteiligung der Amygdala an Prosodieverarbeitung:
Intact recognition of emotional prosody following amygdala damage (Adolphs & Tranel, 1999) Zunächst unklare Befundlage: Anderson & Phelps, 1998, Prosodieerkennung nach Amygdala- läsion normal, Scott et al, 1997, Prosodieerkennung beeinträchtigt.

6 Untersuchung von SM046 (die Amygdalapatientin, selektiv bilateral), RH1951 (nicht ganz selektiv bilateral), 7 weiteren Patienten mit Amygdalaläsionen, 15 weiteren neurologisch geschädigten Patienten und 14 Kontrollen.

7 Alle Probanden haben normales Hörvermögen, sowohl audiometrisch, als auch
ökologisch ... 4 semantisch neutrale Sätze in 5 prosodischen Emotionsvariationen eingesprochen: Freude, Trauer, Ärger, Furcht, Überraschung zusätzlich auch neutral und müde. (kein Ekel, zu mehrdeutig) Vpn hören 28 Sätze x 8 Durchgänge und beurteilen, wie gut der jeweilige Satz zum vorgegebenen Emotionswort (müde, traurig etc.) passt. Skala 1-5.

8

9

10 Ergebnis: SM, die einzige Vp mit vollständiger, selektiver, bilateraler Amygdala- Schädigung zeigt überhaupt keine Beeiträchtigung beim Erkennen prosodischer Emotion. Einige Patienten mit rechtsseitigen Amygdalaläsion + Läsionen umliegender Strukturen jedoch schon. Auch einige der neurologischen Kontrollen zeigen prosodische Defizite, v.a. nach rechtsseitigen Läsionen. -> Läsion der Amygdala alleine führt nicht zu Defiziten in der emotionalen Prosodieverarbeitung (aber zu Defiziten in der Interpretation von Gesichtsausdruck).

11 Emotionswahrnehmung aus Gesichtern und Stimmen
Lateralisierung emotionaler Verarbeitung in Abhängigkeit vom Reizmaterial? Der Valenz? Generell rechts für Prosodie (Ross Modell)? Studien bei unilateralen Läsionen: Kucharska-Pietura et al., 2003 (Charbonneau et al., 2003)

12 Kucharska-Pietura et al. (2002):
´Perception of emotions from faces and voices following unilateral brain damage.´ Untersuchung der relativen Auswirkung unilateraler Hirnläsionen auf die Wahrnehmung von Emotionen in Gesichtern und gesprochener Sprache bei 30 RH und 30 LH läsionierten. Emotionen bei Gesichtern: Patienten mit RH Läsionen sind signifikant schlechter als solche mit LH Läsionen. Kein Unterschied zwischen LH Patienten und Kontrollen. Effekt auch nach Kontrolle der generell schlechteren Gesichter- erkennung bei RH Patienten noch signifikant (einzige Ausnahme: Erkennung von glücklichem Gesichtsausdruck). Generell: positive Emotionen werden besser erkannt als negative. Emotionen in Stimme: Patienten mit RH Läsionen zeigen wiederum deutlichere Defizite als solche mit LH Läsionen. Aber: Auch deutlicher Unterschied zwischen LH Patienten und Kontrollen.Glückliche Stimme wieder am besten erkannt. Fazit: Generell nach RH Läsionen größere Defizite in der Emotionswahrnehmung, allerdings ausgeprägter für Gesichter.

13 Hemisphärenunterschiede bei der Beurteilung von emotionalem Gesichtsausdruck und Prosodie bei links- und rechts Hemisphären Infarkt (Kucharska-Pietura et al. 2002)

14 Sind emotionale Sprachfunktionen hemisphärendominant?
Für Sprachsemantik/lexikalische Funktionen wird oft eine (links) Hemisphären- dominanz angenommen, für affektive Prosodie offene Frage (ähnlich Musik). Es gibt Berichte über Verlust prosodischer Fertigkeiten nach linkshemisphärischen Läsionen. Frage der verwendeten Aufgabe? Rezeption versus Produktion? Natürliche Interaktion von Inhalt und Prosodie. Ross (1981): Funktionelle Neuroanatomie der Aprosodien spiegelt die der Aphasien wider, allerdings in der rechten Hemisphäre. Ausserdem Rolle subkortikaler Strukturen, wie der Basalganglien. Ross et al. (1997): Reduzierung des lexikalischen Gehalts affektmodulierter Äußerungen verbessert die Verständnisleistung von Patienten mit links- nicht aber rechtshemisphärischen Läsionen.

15 Differential Representation of Propositional Speech and Affective Prosody
The words „yes“ and „no“ are propositions, but only when used for assent and dissent. ... A speechless patient may retain the word „no“, and yet have only the interjectional or emotional, not the propositional use of it; he utters it in various tones as signs of feeling only. Hughlings-Jackson, Brain, 1879 Heilman, J Neurol Neurosurg Psychiatry, 1975 5

16 Ross‘ Model of Prosody Processing
Motor Cortex Broca‘s Analogue Acoustic Cortex Wernicke‘s Analogue Ross, Arch Neurol, 1981

17 Aprosodic Syndroms: Empirical Evidence
Ross, Arch Neurol, 1981 5

18 Valence Hypothesis Happiness Sadness Fear Anger Disgust
Left Hemisphere (positive emotions) Right Hemisphere (negative emotions) Davidson et al., 1987, 1989, 1999 Canli et al., 1998 5

19 Hypothesis of Acoustic Lateralization
Loudness (intensity) Duration (rhythm) Pitch (F0-variabilty) Voice quality (timbre) Left Hemisphere rapid changes (segmental level) Right Hemisphere slow changes (suprasegmental level) Ivry and Robertson, 1998 Zatorre et al., Ackermann et al., 2001 Pöppel et al., 2003, 2004 5

20 R L Abb 1: Stimulus-getriebene Hirnaktivierung bei Perzeption emotionaler Prosodie. Dargestellt sind signifikante Korrelation zwischen zerebraler Aktivierung und Expressivität der emotionalen Sprachmelodie unabhängig von der Aufgabenstellung (Beurteilung der Prosodie oder Beurteilung des Wortinhalts). Die Stimulus-abhängige Aktivierung im Bereich des m-STS ist in der rechten Hemisphäre stärker ausgeprägt. Aufgaben-abhängige Aktivierungen bei diesem Experiment sind in Abb. 3 dargestellt.

21 Abb 2: Hämodynamische Antworten bei passivem Anhören emotionaler Prosodie
(emotional gesprochene Worte > neutral gesprochene Worte). Projektion auf die Kortexoberfläche der rechten Hemisphäre. (b) Transversalschnitt (z = 0) mit Darstellung der Aktivierung im m-STS und Thalamus. (c) Aktivierungsstärke im rechten m-STS bei ärgerlicher, trauriger, neutraler, freudiger und erotischer Intonation. (d) Nur bei verführerischem Tonfall zeigte sich eine Interaktion von Sprechergeschlecht und Probandengeschlecht mit stärkeren Effekten bei Wahrnehmung gegengeschlechtlicher Stimmen.

22 Abb. 3. Aufgaben-abhängige Aktivierung bei Perzeption von Einzelworten.
Zunahme der Aktivierung bei Beurteilung emotionaler Prosodie gegenüber Beurteilung emotionaler Wortinhalte. Es zeigt sich eine Aufgaben-abhängige Aktivierung im Bereich des p-STS und des bilateralen inferioren frontalen Kortex. (b) Zunahme der Aktivierung bei Beurteilung emotionaler Wortinhalte gegenüber der Beurteilung emotionaler Prosodie. Bei Beurteilung emotionaler Wortinhalte zeigt sich eine linksseitige fronto-temporale Aktivierung. Die Stimulus-getriebene Aktivierung (Aufgaben-unabhängig) bei diesem Experiment ist in Abb. 1 dargestellt.

23 Identification of Affective Prosody
Questions: - topography of cerebral activation? - influence of emotional valence / specific emotions? Stimuli: Der Gast hat sich für Donnerstag ein Zimmer reserviert Die Anrufe werden automatisch beantwortet Ein Informatiker würde den Rechner verwenden Die neue Lehrerin hat den Schülern Filme gezeigt In der Verpackung lassen sich Rosen transportieren ... Tasks: - emotional Identification (5 basic emotionen) phonological Identifikation (vowel following 1st „a“) 5

24 fMRI-Activation during Identification of Emotional Prosody
STS (BA 22/42) L R emotional identification (> vowel identification) L L R 8 6 IFG (BA 47) L 4 2 SPM99, n = 12, T > 4.30, k > 27, p < 0.05 (corrected) no influence of emotional valence or specific emotional categories Abb 4: Aufgabenspezifische Aktivierung bei Perzeption emotional gesprochener Sätze. Hämodynamische Reaktionen im Vergleich zur Kontrollaufgabe wurden auf die Kortexoberfläche eines Referenzgehirns (links) und auf axiale Schichten (rechts) projiziert. Bei Identifikation emotionaler Prosodie trat eine Aktivierung im Bereich des p-STS und des rechten inferioren frontalen Kortex auf.

25

26

27 Abb 7: Modell des kortikalen Netzwerks der Prosodieverarbeitung:
Die Ergebnisse der aufgeführten Studien sprechen für eine rechtsdominante Repräsentation der Prosodie- verarbeitung. Rechtsseitige primäre (A1) und sekundäre (m-STS) akustische Regionen leisten einen wesentlichen Beitrag zur Extraktion suprasegmentaler akustischer Signale. Strukturen im Bereich des posterioren Sulcus temporalis superior (p-STS) scheinen an der Identifikation bedeutungstragender Intonations- sequenzen beteiligt zu sein. Der bilaterale inferior frontale Cortex (IFC) ist an der Beurteilung von emotionalen Intonationssequenzen beteiligt und könnte die Verbindung zum limbischen System darstellen. Die Aktivierung von A1 und m-STS ist durch Stimulus-getriebene Effekte bestimmt, während die Informations- weiterleitung über den rechten p-STS zum bilateralen inferioren frontalen Cortex (IFC) an eine Aufmerksamkeitsfokussierung bei expliziter Beurteilung emotionaler Sprachmelodie gebunden zu sein scheint.

28 Ross‘ Model of Prosody Processing
Motor Cortex Broca‘s Analogue Acoustic Cortex Wernicke‘s Analogue Ross, Arch Neurol, 1981

29 fMRI Studien aus der Wildgruber Gruppe
Bestätigen weitgehend das Modell von Ross.