Ingmar Steiner: Prosodie und HCI1 Prosodie und Human- Computer Interaction (HCI) Ein Überblick über Merkmale, Probleme und Lösungsansätze HS Prosodie Leitung: Prof. Dr. W. Hess SS 2002

Ingmar Steiner: Prosodie und HCI2 Aufbau 1.SUI-Design 2.Erkennung von Korrekturen 3.WOZ-Experimente 4.Weitere prosodische Informationen 5.Zusammenfassung 6.Literatur

Ingmar Steiner: Prosodie und HCI3 1.SUI Design (Yankelovich 1995) Speech User Interface (SUI): Ein- und Ausgabe mittels gesprochener Sprache Typischerweise telefonbasierte Anwendungen Benutzereingaben entweder durch einzelne Schlüsselwörter (discrete speech) oder natürliche Sprache (continuous speech)

Ingmar Steiner: Prosodie und HCI4 SUI-Grundbegriffe prompt (explizit vs. implizit) cue phrase progressive assistance directive prompt tapered presentation barge-in

Ingmar Steiner: Prosodie und HCI5 SpeechActs-Beispieldialog System: You have 14 new messages and 47 old messages. The first new message is from Eric Baatz regarding report completed. User: Let me hear it. System: The first draft is ready for your comments. Eric. User: Reply and include the current message. System: Preparing message to Eric Baatz. Begin recording after the tone. When finished, pause for several seconds. User: Eric, Ill get those to you this afternoon. System: Say cancel, send, or review. User: Send. System: Message sent. What now? User: Next message. System: New message two from Stuart Adams, subject Can we meet at 3:00 today? User: Switch to calendar...

Ingmar Steiner: Prosodie und HCI6 Fehlertypen bei der Erkennung rejection error substitution error (= misrecognition error) insertion error Je mehr Fehler passieren, desto mehr Fehler passieren (error spirals)

Ingmar Steiner: Prosodie und HCI7 2. Erkennung von Korrekturen Levow (1998, 1999) Revidierte Fehlertypen: OK (Erkennung korrekt, Handlung korrekt) error minor (Erkennung ungenau, Handlung korrekt) error (Erkennung fehlerhaft, Handlung nicht korrekt) (=misrecognition error) rejection (keine Erkennung, keine Aktion)

Ingmar Steiner: Prosodie und HCI8 Beispiel (mit Debug-Info) System Said: Please say mail, calendar, weather, stock quotes or start over to begin again. User Said: mail System Heard: mail System Said: Switching to mail. Your first message is... User Said: Read message four eight nine System Heard: "nothing System Said: Sorry? User Said: Read message four eight nine System Heard: "nothing System Said: Still no luck. Speak clearly, but dont over emphasize. User Said: Go to message four eight nine System Heard: Go to message four please umm System Said: I heard go to new message 4.

Ingmar Steiner: Prosodie und HCI9 Erste Ergebnisse zur Prosodie von Korrekturen Repetitionen unterscheiden sich durch größere Dauer längere Pausen niedrigere F 0 (bei CREs) steilere F 0 -Konturen sorgfältigere Artikulation von den Originaläußerungen.

Ingmar Steiner: Prosodie und HCI10 Lösungsversuch per Entscheidungsbaum Entscheidungsbaum erkennt Korrekturversuche und paßt den Spracherkenner an dieKorrekturprosodie an, mit 75% Erfolgsrate

Ingmar Steiner: Prosodie und HCI11 Exkurs: Entscheidungsbäume (Breiman 1984) CART (Classification and Regression Tree) Flußdiagramme trainierbar transparent

Ingmar Steiner: Prosodie und HCI12 Beispiel: CART (Salford Systems)

Ingmar Steiner: Prosodie und HCI13 3. WOZ-Experimente (Wizard of Oz) (Oviatt 1996, Pirker 1999, Fischer 1999) Versuchspersonen sollen glauben, sie würden mit einer Maschine interagieren, während heimlich ein Mensch (der Wizard) die Maschine steuert.

Ingmar Steiner: Prosodie und HCI14 Ergebnisse der WOZ-Experimente Oviatt: Wortdauer, mehr und längere Pausen, Amplitude gleich, F 0 -Minimum niedriger, weniger reduzierte Segmente, weniger disfluencies (Stocken) Pirker: Amplitude größer, mehr und längere Pausen, CME steilere F 0 - Konturen, CRE flachere Fischer: Hyperartikulation wird häufiger, individuelle Strategien

Ingmar Steiner: Prosodie und HCI15 Ungeschickter WOZ © Metro-Goldyn-Mayer, Inc.

Ingmar Steiner: Prosodie und HCI16 4. Weitere prosodische Informationen Erkennung von Emotion (Ang 2002): Sprache Frustrierter Benutzer hat längere Dauer langsamere Sprechgeschwindigkeit große F 0 -Spanne (pitch range) bis zu 93% Übereinstimmung bei Erkennung mittels Entscheidungsbaum und Sprachmodell

Ingmar Steiner: Prosodie und HCI17 Stille und EOUs (Levow 1997, Shriberg 2002) Stille und Verzögerungen stören die HCI erheblich. EOUs (End of Utterance) nicht lexikalisch sondern prosodisch zu erkennen verbessert Genauigkeit und verkürzt Wartezeiten (4,9% Fehlerrate bei 135 ms Verzögerung)

Ingmar Steiner: Prosodie und HCI18 Entscheidungsbaum für EOUs

Ingmar Steiner: Prosodie und HCI19 Prosodische Erkennung von disfluencies (Shriberg 1997) Mittels Entscheidungsbäumen automatische Erkennung von: filled pauses (z.B. he uh * liked it): 89,7% repetitions (z.B. he * he liked it): 77,5% repairs (z.B. it was * he liked it): 75,5% false starts (z.B. he * she liked it): 74%

Ingmar Steiner: Prosodie und HCI20 5. Zusammenfassung Prosodische Merkmale enthalten wichtige Informationen über Korrekturen, Emotionen, Diskurssteuerung, etc. Ihre Erkennung erhöht die Qualität von SUIs erheblich und ermöglicht effizientes Arbeiten mit Dialogsystemen.

Ingmar Steiner: Prosodie und HCI21 6. Literatur (1) Ang, J., Dhillon, R., Krupski, A., Schriberg, Elizabeth, & Stolcke, A. (2002) Prosody-Based Automatic Detection of Annoyance and Frustration in Human-Computer Dialog, Proceedings of ICSLP02, Denver, CO: Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984), Classification and Regression Trees. Wadsworth, Belmont, 1984 [zit. n. Shriberg et. al. (1997)]. Ferrer, Luciana, Shriberg, Elizabeth & Stolcke, A. (2002), Is the Speaker Done Yet? Faster and More Accurate End-of-Utterance Detection Using Prosody in Human-Computer Dialog., Proceedings of ICSLP02, Denver, CO: Fischer, Kerstin (1999): Discourse Effects on the Prosodic Properties of Repetitions in Human-Computer Interaction, Proceedings of the ESCA International Workshop on Dialogue and Prosody, Veldhoven, Niederlande:

Ingmar Steiner: Prosodie und HCI22 Literatur (2) Levow, Gina-Anne (1997): Making Sense of Silence, CHI97 Workshop on Speech User Interface Design Challenges, Atlanta, GA. Levow, Gina-Anne (1998): Characterizing and Recognizing Spoken Corrections in Human-Computer Dialogue, Proceedings of COLING- ACL98, Montréal. Levow, Gina-Anne (1999): Understanding Recognition Failures in Spoken Corrections in Human-Computer Dialog, Proceedings of the ESCA International Workshop on Dialogue and Prosody, Veldhoven, Niederlande: Oviatt, Sharon, Levow, Gina-Anne, MacEachern, Margaret, & Kuhn, Karen (1996): Modeling Hyperarticulate Speech During Human-Computer Error Resolution, Proceedings of ICSLP96, Philadelphia, PA.

Ingmar Steiner: Prosodie und HCI23 Literatur (3) Pirker, H. & Loderer, G. (1999): I Said Two Ti-ckets: How to Talk to a Deaf Wizard, Proceedings of the ESCA International Workshop on Dialogue and Prosody, Veldhoven, Niederlande: Shriberg, Elizabeth, Bates, Rebecca, & Stolcke, A. (1997): A Prosody-Only Decision-Tree Model for Disfluency Detection, Proceedings of Eurospeech97, Rhodos: Yankelovich, Nicole, Levow, Gina-Anne & Marx, M. (1995): Designing SpeechActs: Issues in Speech User Interfaces, CHI95, Denver, CO.

Ingmar Steiner: Prosodie und HCI24 Albtraum eines SUI-Entwicklers +=