Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Sprachverarbeitung: 1.Spracherkennung und Dialog –Software Nuance 8 –Prototyp 1: Entwicklung einer Grammatik –Prototyp 2: Java Client –Prot.3-4: Sprachausgabe, Dialoge, Erweiterungen –Prototyp 5-7: Erweiterung der GSL-Grammatik: Optimierung, Small-talk 2.Sprachgenerierung und Synthese

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Spracherkennung: Signalanalyse Frequenzen/Zeitpunkt Merkmalsextraktion Musterabgleich Ähnlichkeitsmaß Folge von Lauten, Wörtern als Ergebnis Lexikalische Dekodierung Syntaktische Analyse

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Software: NUANCE 8 Anwendungsgebiet: –Marktführer, sehr präzis –Für kontinuierliche Sprache –Sprecher-unabhängig Funktionsweise: –Wird mit statistischen Sprachmodellen kombiniert –Geräusch-robuste Merkmalsextraktion –Akustische Adaptation (an Sprecher)

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Erkennungs-Grammatik unter Nuance: Grammatikdatei(en): Nuance individuell einsetzen Werkzeug: Nuance Grammar Builder zum editieren und kompilieren Notation: in Grammar Specification Language (GSL) –Für kontextfreie Grammatiken –Terminalen und nonterminalen Symbolen –Erweiterungen möglich, wie z.B. Wahrscheinlichkeit des Vorkommens

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Erkennungs-Grammatik unter Nuance: Konstrukt Bedeutung Beispiel Beschreibung (...) Konkatenation (ich möchte) Phrase ich möchte [...] Disjunktion [tee kaffee] tee oder kaffee * Kleensche *viel milch milch, viel milch, Hülle viel, viel milch,... + Positive Hülle +viel milch viel milch, viel, viel milch,... ? Option kaffee ?bitte kaffee oder kaffee bitte Auszug aus den Syntaxkonstrukten der GSL

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Erkennungs-Grammatik unter Nuance: Beispiel bei espresso:.SATZ (ich möchte einen GETRAENK) GETRAENK [kaffee tee milch milchkaffee] Durch Einführung von Regeln wird die Grammatik flexibel

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Erkennungs-Grammatik unter Nuance: Bei zu großen Grammatiken hingegen, –wird die Bearbeitung langsamer –die Erkennungsrate sinkt –es können semantisch ungültige Konstrukte generiert werden möglichst viele denkbare Sätze in die Grammatik, aber nicht alle mögliche (Begrenzung auf Bereiche).

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototyp 1: Entwicklung einer Grammatik (Bestellungsvorgang) Beispiele von erkannten Sätze: Einen Kaffee bitte Mach mir einen Kaffee Für mich einen Kaffee Ich hätte gerne einen Kaffee –sollte robust sein –ausreichend für erste Versuche (Tests über Nuance Server)

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen. INIT [ ( BITTE GETRAENK ) ( GETRAENK BITTE ) ( PERSONALPRONOMEN VERB ?(BITTE ?(GERNE)) GETRAENK ) ] BITTE [ ?(bitte) ] GERNE [ ?(gerne) ] PERSONALPRONOMEN [ ich ] VERB [ ( moechte ) ( haette ) ( will ) ] GETRAENK [ ( einen ?(doppelten) kaffee ) ( eine kanne kaffee ) ( einen ?(doppelten) cappuccino ) ( einen ?(doppelten) latte macchiato ) ( einen ?(doppelten) milchkaffee ) ( einen ?(doppelten) kaffee creme ) ( einen ?(doppelten) milchkaffee ) ( einen ?(doppelten) espresso ) ( milchschaum ) ]

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototyp 2: –Grammatik erweitert –Java-Client programmiert

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototypen 3-4: –Integration von Text-to-speech –Integration von Maschinensteuerung –Dialoge entwickelt: Begrüßung Getränke-Repertoire Antwort auf Bestellungen Meldung bei Missverständnis Abbruch der Bestellung

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototypen 3-4: U: Guten Tag, WMF combination S. M: Guten Tag. Was kann ich Ihnen anbieten? U: Was kannst Du denn alles? M: Ich kann Kaffee, Café Crème, (...). Was ist Ihr Wunsch? U: Ich hätte gerne einen Cappuccino. M: Entschuldigung, ich habe eben leider nicht zugehört. U: Einen Cappuccino bitte. M: Gerne, ich mache Ihnen eine Cappuccino. Einen Moment bitte.

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototypen 3-4: Weiterer sprachliche Aspekt: Aussprache bei unbekannten Wörtern oder Fremdwörtern: Dictionary-Files in Lautschrift-Notation bei Nuance aufgeschaeumte aw u f g * S Oj m t * combination k o m b i n e S * n heisses h aj s E S macchiato m A k i A t o milchschaum m i l rej S aw m

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototypen 5 bis Final: –Sprachsynthese und Steuerung in entsprechende Module ausgelagert –Wahrscheinlichkeitswerte in Grammatik –Weitere Dialog-Elemente, Smalltalk

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Prototypen 5 bis Final:

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Generierung und Synthese Routengraphen Sprachgenerierung und -synthese (Kurzer Einblick) –Benutzte Software: Mary (andere: SABLE, SAPI) –Herausforderung Aussprache/Intonation (Parsen, Satzmelodie finden, Lexikon) –MaryXML-Struktur auf jede Ebene des Prozesses zugreifbar / erweiterbar Explizite Ausspracheangaben (Kaffeedomäne) Beeinflussung der Intonation mit GToBI (Notationssystem)

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Generierung und Synthese Routengraphen Sprachgenerierung und -synthese (Kurzer Einblick) <maryxml xmlns=" xmlns:xsi=" version="0.3" xml:lang="de"> Ihr Kaffee ist fertig!

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Generierung und Synthese Routengraphen Sprachgenerierung und -synthese (Kurzer Einblick)... <t g2p_method="lexicon" pos="PPOSAT" sampa="?i:6" syn_attach="1" syn_phrase="NP"> Ihr <t accent="L+H * " pos="NN" sampa="ka-fee" syn_attach="0" syn_phrase="NP"> Kaffee....

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Routengraphen für die Ebene 8 (MZH) a) B: Wo finde ich das Büro von BKB? K: Raum Gehen Sie hier raus, dann gleich nach links. Ganz am Ende sehen Sie eine Tür, das Büro von BKB ist die Tür daneben. b) B: Wie finde ich das Büro von xxx? (xxx ist ein Student, hat aber kein Büro.) K: Entschuldigung, ich habe Sie nicht richtig verstanden. Können Sie es noch einmal versuchen? B: Wie finde ich das Büro von xxx? K: Es tut mir leid, die Person ist nicht in der Datenbank gespeichert.

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Routengraphen für die Ebene 8 (MZH)

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Routengraphen für die Ebene 8 (MZH)

Überblick Software Bestellungsver- waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen Routengraphen für die Ebene 8 (MZH)