Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

Präsentation zum Thema: "Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung"—  Präsentation transkript:

1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder Universität Bonn

2 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Übersicht Einleitung: Motivation Inhalt des Moduls Szenario Multimediale Elemente Arbeitsplan Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

3 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Motivation des Moduls Interdisziplinärer Charakter in der Sprachtechnologie Informationstechnik / Informatik Computerlinguistik Phonetik z.B. Dialogsysteme, Sprachverstehenssysteme, Sprachsynthesesysteme Zusammenarbeit von Wissenschaftlern unterschiedlicher Disziplinen; Beisp. Magisterstudiengang BN (Möglichkeit der Abdeckung beider Teilbereiche). Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

4 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Lernziel Überblick über die Entwicklung und den heutigen Stand von Sprachsynthese und Spracherkennung Verstehen und Beurteilung wichtiger Aspekte und Probleme der akustischen Mensch-Maschine-Kommunikation Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

5 Grundlagen und Umfang des Moduls
In Bonn: 3 zweistündige Vorlesungen, 1 Seminar Grundlagen der Sprachsignalverarbeitung Akustische Mensch-Maschine-Kommunikation 1,2 Material aus Seminar zum Thema Fokus Im Projekt: Äquivalent von 4 Semesterwochenstunden ? Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

6 Inhaltliche Strukturierung
Einführung: Aufgaben und Einsatzmöglichkeiten der akustischen Mensch-Maschine-Kommunikation Grundlagen der Sprachsignalverarbeitung [Exkurs: für die Verarbeitung gesprochener Sprache benötigte Mathematik] Sprachausgabe: Sprachsynthese Spracheingabe: Spracherkennung, Sprachverstehenssysteme Linguistische Aspekte der Verarbeitung gesprochener Sprache Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

7 Teilmodul Sprachsignalverarbeitung
Bau des menschlichen Sprechtrakts Sprachsignale und ihre Darstellung im Rechner Kurzzeitanalyse Kurzzeitspektralanalyse Spektrogramm Kurze Einführung in für die Sprachsignalverarbeitung wichtige phonetische Grundlagen (übriges wird vorausgesetzt oder muss mittels Literatur nachgearbeitet werden) Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

8 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Exkurs Mathematik Mathematische Grundlagen zur Sprachsignalverarbeitung Variable Ansteuerung durch das Teilmodul Sprachsignalverarbeitung Rücksicht auf individuellen Wissensstand der Studierenden z.B. komplexe Zahlen, Reihenrechnung, harmonische Analyse Abbau der Scheu vor mathematischen Inhalten Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

9 Teilmodul Spracherkennung Grundprobleme
Einzelworterkennung Probleme der Erkennung fließender Sprache und Spontansprache Dynamic Time Warping Hidden-Markov-Modelle Erkennung von Prosodie Klassische Mustererkennungsverfahren Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

10 Teilmodul Spracherkennung Anwendungen
Spracheingabesysteme: Historische Entwicklung und Beispiele Anwendungen: einfacher, interaktiver, trainierbarer Spracherkenner mit geringem Wortschatz Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

11 Teilmodul Sprachsynthese
Synthese auf segmentaler Ebene – Verkettung Frage der Prosodie Demonstration der prosodischen Manipulation synthetischer und natürlicher Sprachsignale Direkte Sprachsynthese vom Sprachkorpus Demonstration verschiedener Synthesesysteme Akustische Synthese Verschiedene Prinzipien akustischer Synthese Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

12 Teilmodul Sprachsynthese (2)
Evaluierung der Qualität Bewertung von synthetischen Stimuli verschiedener Systeme Einige ausgewählte Anwendungen Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

13 Teilmodul Linguistische Aspekte
Dialogverarbeitung Korpora gesprochener Sprache Gesprochene vs. geschriebene Sprache Spracherkennung und Äußerungskontext Prosodie als Mittel semantischer und pragmatischer Markierung Phonem-Graphem-Verhältnis Beschreibung der Syntax gesprochener Sprache Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

14 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Szenario Vernetzung mit anderen MiLCA-Modulen Aufbereitung als Web Based Training „Einstiegsmöglichkeiten“ in unterschiedlichen Kontexten Mehrere Lernpfade Individuelle Lerngeschwindigkeit und Lernziele Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

15 Lernprozess im Teilmodul
Kenntnisstand A1 A2 A3 Ak ..... Innerhalb der Abschnitte: mindestens 3 verschiedene Lernpfade (je nach erfolgter Kenntnisstandprüfung wählbar) Lernfortschritt Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

16 Vernetzung der (Teil-)Module
Grundlagen der Sprachsignalverarbeitung Mathematik Spracheingabe Sprachausgabe Gr.SSv notwendig für anwendungsbezogene Teilmodule Sprachein/ausgabe Ling. Aspekte nimmt bezug auf Sprachein/ausgabe Mathematik als Referenz, besonders zu den Grundlagen eng vernetzt Andere MiLCA-Module Linguistische Aspekte Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

17 Vernetzung mit anderen Modulen Linguistische Aspekte
Beschreibung der Syntax gesprochener Sprache Prosodie als Mittel semantischer und pragm. Markierung Spracherkennung und Äußerungskontext Dialogverarbeitung Korpora gesprochener Sprache  Parsing und Grammatik Computational Semantics  Dialogsysteme  Texttechnologie Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

18 Multimediale Elemente
Spracherkenner mit begrenztem Wortschatz Virtuelles Sprachsignallabor Akustische Synthetisatoren Graphisch unterstützte Manipulation von Sprachsignalen (Grundfrequenz, Dauer, etc.) Vokaltraktsimulator Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

19 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Sprachsignallabor Akustische Aufnahme und Wiedergabe Spektrogramm Einzelspektrum Oszillogramm Selektion von Teilsignalen Sprachaufnahmen der eigenen Stimme analysieren und manipulieren Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

20 Beispiel Breitbandspektrogramm
Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

21 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Vokaltraktsimulator Mittsagittalschnitt (aus Fellbaum, 1984) und simulierter Vokaltrakt (aus Klöcker, 2001) am Beispiel des Vokals [a:] Mit akustischer Ausgabe des dargestellten Vokals Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung

22 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung
Arbeitsplan Arbeitsplan 0 Grundsätzliche Vorbereitungen, Gliederung, Struktur, interne Beziehung der Teilmodule 1 Erstellung und Test Grund. Sprachsignalverarbeitung 2 Entwicklung, Test, Weiterentwicklung und Integration von Modul Sprachsynthese 3 s.2 bzgl. Spracherkennung 4 Entwicklung Ling. Aspekte; Integration des Moduls 5 Abstimmung, Gesamtsystem, Integration Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung