Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
Veröffentlicht von:Wolf Altmann Geändert vor über 11 Jahren
1
M u l t i m o d a l e S y s t e m e / M E Multimodale Systeme Joulavskaia Natalie Nikoulina Irina
2
M u l t i m o d a l e S y s t e m e / M E - Motivation Begriffsdefinitionen Eingabegeräte - Geschichteüberblick - Frühere multimodale Systeme Entwicklung des Eingabesystems - VIENA: offene Eingabe - CARE – Konzept - CARE und VIENA - VIENA/MEA - Multimodale Systeme/Ansätze Gliederung
3
M u l t i m o d a l e S y s t e m e / M E Modalität (oder Modus) Multimodalität Multimodale Systeme Multimodales Parsing/ Multimodales Generierung Motivation Definitionen
4
M u l t i m o d a l e S y s t e m e / M E Erfassung von Gesten - video-basiert - basiert auf Sensoren Erfassung von Blickrichtungen - Eyertracker Erfassung von der Sprache - Mikrophon - Tastatur Motivation Eingabegeräte
5
M u l t i m o d a l e S y s t e m e / M E 1970 1984 1986 1991 1993 1994 1995 SCHOLAR Tutorsystem Südafrika Put-That-There XTRA Interface, Steuerformularhilfe CUBRICON Militärisch, Karten AIMI Militärisches Interface ALFresco Bilder, Hypertext, NLP Edward Sinn & Zweck von M4K GEORAL Touristik, Karte Motivation Geschichteüberblick
6
M u l t i m o d a l e S y s t e m e / M E Frühere Systeme für Sprache & Gestik - SCHOLAR (Corbonell 70) - Put-That-There (Bolt 80) - XTRA (Allgayer et. Al. 1989) - CUBRICON (Neal/Shapiro 91) Merkmale - die Integration von Gesten erfolgt durch das Auftreten von sprachlichen Referenzausdrücken - kein allgemeiner wohldefinierter multimodaler Integrationsmechanismus - Beschränkung auf Zeigegesten Frühere multimodale Systeme Merkmale
7
M u l t i m o d a l e S y s t e m e / M E 1. Sequentielle Analyse/ Zusammenführung von Sprach- und Gesteneingaben [Put-That-There System (Bolt, 1980) CUBRICON (Neal & Skapira, 1991)] 2.Parallele Verarbeitung (Koors, Sparrell & Thorisson, 1993; Bos, Huls & Claasen, 1994; Nigay & Coutaz, 1995) 3.Offene Eingabe wurde von den früheren Ansätzen nicht benutzt/ keine Auflösung von Redundanzen und Inkonsistenzen Frühere multimodale Systeme Wie hat sich das Eingabesystem entwickelt?
8
M u l t i m o d a l e S y s t e m e / M E VIENA -Virtuelle Entwurfsumgebung und Agenten (Wachsmuth&Cao, 1995) Sprachlich-gestische interaktive Manipulation eines 3-d virtuellen Büroraums VIENA
9
M u l t i m o d a l e S y s t e m e / M E Manipulierbarer virtueller Raum im VIENA-Projekt VIENA
10
M u l t i m o d a l e S y s t e m e / M E VIENA: offene Eingabe Eingabearchitektur von VIENA
11
M u l t i m o d a l e S y s t e m e / M E Ziel der multimodalen Eingabearchitektur Entwicklung eines allgemeinen Verfahrens zur Integration Benutzereingaben VIENA: offene Eingabe Ziel der MEA
12
M u l t i m o d a l e S y s t e m e / M E CARE-Konzept : Entwicklung und Bewertung von den Aspekten der multimodalen Interaktion - CARE wurde entwickelt ca. 1995 von Coutaz/ Nigay/ Salber am IMAG, Frankreich - Besteht aus einem theoretischen Framework und einer formalen Schreibweise - Bezieht sich auf Ein- und Ausgabe - Beschreibt Relationen zwischen Modalitäten -Die CARE-Properties 1. Komplementarität (Complementary) 2. Zuweisung (Assignment) 3. Redundanz (Redundancy) 4. Äquivalenz (Equivalence) CARE Beschreibung
13
M u l t i m o d a l e S y s t e m e / M E äquivalente Modalitäten bezüglich eines Zielzustandes CARE Formale Schreibweise
14
M u l t i m o d a l e S y s t e m e / M E - Welche Eigenschaft dient welchem Ziel? Beispiele: - schnelle Integration durch Äquivalenz ( Tastatur Sprache) - intuitive Bedienung durch Redundanz - VIENA analysiert mit den CARE-Properties CARE Beispiele
15
M u l t i m o d a l e S y s t e m e / M E CARE Grafische Notation
16
M u l t i m o d a l e S y s t e m e / M E CARE Die von MEA-unterstützten Eigenschaften(Beispiele)
17
M u l t i m o d a l e S y s t e m e / M E CARE CARE & Integrationsverfahren
18
M u l t i m o d a l e S y s t e m e / M E Universität Bielefeld AG Wissensbasierte Systeme (Wachsmuth&Fröhlich) Forschungsfokus – Gestenerkennung für Mensch-Maschine-Schnittstellen - multimodale Integration von Gestik und Sprache Problem: zeitliche Kopplung der Modalitäten Verzögerungen bei der Vorverarbeitung – zeitlich gestreut rhythmische Natur menschlicher Kommunikation neuartige Methode zur Konzeption eines MES Basis – zeitgetaktete Multiagentensystem mit Integration der Sensordaten in einer multimodaler EDS
19
M u l t i m o d a l e S y s t e m e / M E Gesteneingabe – Nintendo-Datenhandschuh Spracheingabe – Mikrofon Dragon Dictate (Version 1.2b) Spracherkenner VIENA
20
M u l t i m o d a l e S y s t e m e / M E Instruktionen werden mit gesprochener Sprache eingegeben und durch Zeigegesten ergänzt VIENA
21
M u l t i m o d a l e S y s t e m e / M E put | this | computer | on | that | table Zeigegeste werden durch Handschuhzeigen auf Objekte oder Positionen eingegeben VIENA
22
M u l t i m o d a l e S y s t e m e / M E Realisierung der Aufnahme und Verarbeitung der Eingabeinformationen durch multiple Software-Agenten Agent – autonomer Berechnungsprozess Agentur VIENA / MEA
23
M u l t i m o d a l e S y s t e m e / M E sense-compute-act-Zyklus sense – Aufnahme von Nachrichtendaten compute – Berechnung der jeweiligen Funktion act – Senden technischer Kommandos Das Verarbeitungsmodell von Agentensystemen ist ereignisgetrieben Agentensystem
24
M u l t i m o d a l e S y s t e m e / M E Architektur der VIENA-System VIENA / Architektur
25
M u l t i m o d a l e S y s t e m e / M E multimodale Eingabe-Agentur listener (speech, type, gesture) Parser Koordinator Architektur / MEA
26
M u l t i m o d a l e S y s t e m e / M E Probleme bei der Koordinieren und Integrieren der perzipierten Sprach- und Gesteneingaben Segmentierungsproblem: Wie sind die Prozesseinheiten zu determinieren, die das System in einem Zyklus verarbeitet? Korrespondenzproblem: Wie sind die Querbezüge zwischen den Modalitäten zu determinieren? Integrationsprobleme
27
M u l t i m o d a l e S y s t e m e / M E Segmentierung 3-Zustands-Rhythmus-Modell (swing-subside-wait) Segmentierung
28
M u l t i m o d a l e S y s t e m e / M E Segmentierungsprozess 4 Schritte: sense – registriert Nachrichten von listener- Agenten buffer – extrahiert und akkumuliert sie in EDS compute – interpretiert in EDS akkumulierten Daten act – bestimmt Agenten und übergibt die Aufgaben an sie Sense und buffer im Wechsel bis der Zeitzyklus abgeschlossen ist Compute und act – am Ende jeden Zeitzyklus Segmentierung
29
M u l t i m o d a l e S y s t e m e / M E Korrespondenz compute – Auflösung der Korrespondenzen zwischen verbaler und gestischer Information in der EDS und eine Gesamtaufgabenbeschreibung 2 Fälle: Zeitzyklus-interne Interpretation Zeitzyklusüberspannende Interpretation separate Analyse der Sprach- und Gestenmodalität Berechnung wahrscheinlichsten Korrespondenzen Überprüfung der resultierenden Repräsentation auf Vollständigkeit Korrespondenz
30
M u l t i m o d a l e S y s t e m e / M E Tatsächliche multimodale Integration – Herstellung der Korrespondenzen zwischen Gestenperzepten und Gestenplätzen innerhalb des 2 sek. Intervals Gestenplatz – zeitgestempelter Informationsplatzhalter, die Spracheingabe ergänzen bilden Ankerpunkte für den Aufbau von Querreferenzen zw. Sprach- und Gestikereignissen zwei Gestenplätze – ein Gestenperzept: die Auflösung durch zeitliche Nähe und den Vergleich der Ambiguitätswerten Integration
31
M u l t i m o d a l e S y s t e m e / M E Multimodale Benutzung adaptiver Kfz-Bordsysteme zunehmende Komplexität moderner Kfz-Bordsysteme Bedarf an verbesserten MMS Komplexität der Bordsysteme verbergen einfache und intuitive Bedingung ermöglichen Kfz-Bordsystem
32
M u l t i m o d a l e S y s t e m e / M E Inhalt des Handbuchs in multimedialer Form präsentiert Abfragen von Nachrichten unterschiedlicher Art die Funktionen des Bordsystems sollen mittels Sprache, Gestik und mechanischem Bedienelement angesprochen werden können Kfz-Bordsystem
33
M u l t i m o d a l e S y s t e m e / M E Statische Einhand-Gesten Ausführung horizontal über den Mittelkonsole Kfz-Bordsystem
34
M u l t i m o d a l e S y s t e m e / M E Multimodale Systeme/ Ansätze
Ähnliche Präsentationen
© 2025 SlidePlayer.org Inc.
All rights reserved.