Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder Universität Bonn

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Übersicht Einleitung: Motivation Inhalt des Moduls Szenario Multimediale Elemente Arbeitsplan 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Motivation des Moduls Interdisziplinärer Charakter in der Sprachtechnologie Informationstechnik / Informatik Computerlinguistik Phonetik z.B. Dialogsysteme, Sprachverstehenssysteme, Sprachsynthesesysteme Zusammenarbeit von Wissenschaftlern unterschiedlicher Disziplinen; Beisp. Magisterstudiengang BN (Möglichkeit der Abdeckung beider Teilbereiche). 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Lernziel Überblick über die Entwicklung und den heutigen Stand von Sprachsynthese und Spracherkennung Verstehen und Beurteilung wichtiger Aspekte und Probleme der akustischen Mensch-Maschine-Kommunikation 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Grundlagen und Umfang des Moduls In Bonn: 3 zweistündige Vorlesungen, 1 Seminar Grundlagen der Sprachsignalverarbeitung Akustische Mensch-Maschine-Kommunikation 1,2 Material aus Seminar zum Thema Fokus Im Projekt: Äquivalent von 4 Semesterwochenstunden ? 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Inhaltliche Strukturierung Einführung: Aufgaben und Einsatzmöglichkeiten der akustischen Mensch-Maschine-Kommunikation Grundlagen der Sprachsignalverarbeitung [Exkurs: für die Verarbeitung gesprochener Sprache benötigte Mathematik] Sprachausgabe: Sprachsynthese Spracheingabe: Spracherkennung, Sprachverstehenssysteme Linguistische Aspekte der Verarbeitung gesprochener Sprache 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Sprachsignalverarbeitung Bau des menschlichen Sprechtrakts Sprachsignale und ihre Darstellung im Rechner Kurzzeitanalyse Kurzzeitspektralanalyse Spektrogramm Kurze Einführung in für die Sprachsignalverarbeitung wichtige phonetische Grundlagen (übriges wird vorausgesetzt oder muss mittels Literatur nachgearbeitet werden) 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Exkurs Mathematik Mathematische Grundlagen zur Sprachsignalverarbeitung Variable Ansteuerung durch das Teilmodul Sprachsignalverarbeitung Rücksicht auf individuellen Wissensstand der Studierenden z.B. komplexe Zahlen, Reihenrechnung, harmonische Analyse Abbau der Scheu vor mathematischen Inhalten 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Spracherkennung Grundprobleme Einzelworterkennung Probleme der Erkennung fließender Sprache und Spontansprache Dynamic Time Warping Hidden-Markov-Modelle Erkennung von Prosodie Klassische Mustererkennungsverfahren 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Spracherkennung Anwendungen Spracheingabesysteme: Historische Entwicklung und Beispiele Anwendungen: einfacher, interaktiver, trainierbarer Spracherkenner mit geringem Wortschatz 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Sprachsynthese Synthese auf segmentaler Ebene – Verkettung Frage der Prosodie Demonstration der prosodischen Manipulation synthetischer und natürlicher Sprachsignale Direkte Sprachsynthese vom Sprachkorpus Demonstration verschiedener Synthesesysteme Akustische Synthese Verschiedene Prinzipien akustischer Synthese 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Sprachsynthese (2) Evaluierung der Qualität Bewertung von synthetischen Stimuli verschiedener Systeme Einige ausgewählte Anwendungen 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Teilmodul Linguistische Aspekte Dialogverarbeitung Korpora gesprochener Sprache Gesprochene vs. geschriebene Sprache Spracherkennung und Äußerungskontext Prosodie als Mittel semantischer und pragmatischer Markierung Phonem-Graphem-Verhältnis Beschreibung der Syntax gesprochener Sprache 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Szenario Vernetzung mit anderen MiLCA-Modulen Aufbereitung als Web Based Training „Einstiegsmöglichkeiten“ in unterschiedlichen Kontexten Mehrere Lernpfade Individuelle Lerngeschwindigkeit und Lernziele 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Lernprozess im Teilmodul Kenntnisstand A1 A2 A3 Ak ..... Innerhalb der Abschnitte: mindestens 3 verschiedene Lernpfade (je nach erfolgter Kenntnisstandprüfung wählbar) Lernfortschritt 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Vernetzung der (Teil-)Module Grundlagen der Sprachsignalverarbeitung Mathematik Spracheingabe Sprachausgabe Gr.SSv notwendig für anwendungsbezogene Teilmodule Sprachein/ausgabe Ling. Aspekte nimmt bezug auf Sprachein/ausgabe Mathematik als Referenz, besonders zu den Grundlagen eng vernetzt Andere MiLCA-Module Linguistische Aspekte 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Vernetzung mit anderen Modulen Linguistische Aspekte Beschreibung der Syntax gesprochener Sprache Prosodie als Mittel semantischer und pragm. Markierung Spracherkennung und Äußerungskontext Dialogverarbeitung Korpora gesprochener Sprache  Parsing und Grammatik Computational Semantics  Dialogsysteme  Texttechnologie 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Multimediale Elemente Spracherkenner mit begrenztem Wortschatz Virtuelles Sprachsignallabor Akustische Synthetisatoren Graphisch unterstützte Manipulation von Sprachsignalen (Grundfrequenz, Dauer, etc.) Vokaltraktsimulator 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Sprachsignallabor Akustische Aufnahme und Wiedergabe Spektrogramm Einzelspektrum Oszillogramm Selektion von Teilsignalen Sprachaufnahmen der eigenen Stimme analysieren und manipulieren 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Beispiel Breitbandspektrogramm 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Vokaltraktsimulator Mittsagittalschnitt (aus Fellbaum, 1984) und simulierter Vokaltrakt (aus Klöcker, 2001) am Beispiel des Vokals [a:] Mit akustischer Ausgabe des dargestellten Vokals 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Arbeitsplan Arbeitsplan 0 Grundsätzliche Vorbereitungen, Gliederung, Struktur, interne Beziehung der Teilmodule 1 Erstellung und Test Grund. Sprachsignalverarbeitung 2 Entwicklung, Test, Weiterentwicklung und Integration von Modul Sprachsynthese 3 s.2 bzgl. Spracherkennung 4 Entwicklung Ling. Aspekte; Integration des Moduls 5 Abstimmung, Gesamtsystem, Integration 17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung