Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Multimodale Interfaces Jonas Tappolet, Domenic Benz.

Ähnliche Präsentationen


Präsentation zum Thema: "Multimodale Interfaces Jonas Tappolet, Domenic Benz."—  Präsentation transkript:

1 Multimodale Interfaces Jonas Tappolet, Domenic Benz

2 Inhalt Basics Definition multimodal interface Verschiedene Typen Designprinzipien Beispiel MATCH

3 Interface: Zweck Kommunikation zwischen Mensch und Maschine

4 Human-Machine-Interface (HMI) Anwendungsbereiche Mensch und Maschine lösen Aufgabe gemeinsam (Interaktion) Maschine löst Aufgabe selbständig, Mensch überwacht Mensch löst Aufgabe selbständig, Maschine überwacht (-> Assisted Living)

5 Human-Machine-Interface (HMI) Gedanken, Emotionen, interne Verarbeitung Information Daten Sinnesorgane (Ohren, Augen, Nase...) Aktionen (Sprechen, Bewegung…) Interne Verarbeitung Information Daten Sensoren (Kamera, Mikrofon…) Aktoren (Lautsprecher, Bildschirm…) Austausch physikalischer Signale Mensch Maschine

6 Warum neue Arten der Interaktion? Maus & Tastatur ist Präferenz der Maschine, nicht intuitiv Verschiedene Situationen erfordern unterschiedliche Interaktionsmöglichkeiten Menschen mit Behinderungen brauchen ein Interface das mit den ihnen zur Verfügung stehenden Mittel bedienbar ist

7 Komponenten der natürlichen menschlichen Kommunikation Sprache (Grundkommunikation) Gestik (Verdeutlichen, Untermalen) Mimik (Emotionen) Blickrichtung (Emotion, Kontrolle) Lautstärke, Tonfall (Emotion) Lippenbewegung (Kontrolle) Gerüche (?, Emotion) Haptik (Berührungen, Emotionen)

8 Ziele eines HMI Das Interface muss entsprechend der Anwendung ausgelegt sein Möglichst intuitive Kommunikation des Menschen mit der Maschine Verwischen der Unterschiede zwischen Mensch-Mensch und Mensch-Maschine Kommunikation

9 Gestenerkennung Funktionsweise: Aufnahme von Gesten mithilfe einer Kamera und Erkennung der Geste mithilfe von Software Pro: - Technologie vorhanden - Fordert nicht volle Aufmerksamkeit des Anwenders Contra: - Erkennungsgeste zum aktivieren des Systems - Eingeschränkter Aktionsbereich

10 Video: Gestenerkennung Quelle: TU München, Lehrstuhl für Mensch-Maschine-Kommunikation,

11 Spracherkennung Funktionsweise: Aufnahme von gesprochener Sprache und anschliessende Umwandlung in Steuerbefehle und Text. Pro: - Keine spezielle Hardware nötig (Mikrofon) - Natürlichste Form der menschlichen Kommunikation Contra: - Umgebungsgeräusche / Andere Personen die Sprechen behindern die Spracherkennung stark

12 BCI: Brain-Computer-Interface Auswerten von elektrischer Hirnaktivität zur Erkennung von Befehlen die der Mensch denkt Pro: - Direktverbindung, kein Umweg über ein verlustbehaftetes Medium - Keine Codierung vom Menschen, nur Decodierung von der Maschine. Contra: - Datenschutz - Lernbedarf seitens des Menschen?

13 Video: BBCI - Berlin Brain- Computer Interface Quelle: Fraunhofer Institut Rechnerarchitektur und Softwaretechnik (FIRST),

14 Probleme von einzelnen Interfaces Jedes Interface hat spezifische Nachteile Das menschliche Gehirn hat mehr Leistungsfähigkeit als ein einzelner Kommunikationskanal Nicht für jeden Anwendungsbereich ist jedes Interface gleich gut geeignet

15 Multimodale Interfaces Definition: Multimodale Systeme verarbeiten zwei oder mehrere kombinierte Benutzereingabemethoden wie Sprache, Stift, Berührung (Touchscreen), Gesten, Blickrichtung oder Kopf- und Körperbewegung.

16 Vorteile Multimodaler Interfaces Verbesserte Erkennung (z.B. Sprache und Lippenbewegung) Schneller Intuitiv / Natürlich

17 Verschiedene Typen

18 Aktive Interfaces Benutzer will aktiv mit System kommunizieren. Benutzer gibt explizite Kommandos an das System. Klassische Interaktionsform Ablauf:

19 Passive Interfaces System soll Benutzer unterstützen, ohne dass er dies explizit anfordert. System überwacht Benutzer durch verschiedene Sensoren und erkennt gewisse Muster. Das System reagiert somit auf den Benutzer und seine Umgebung. Mögliche Anwendung: Intelligente Räume

20 Passive Interfaces II Schwierig zu implementieren Ablauf:

21 Gemischte multimodale Interfaces Vereinen mind. Einen aktiven und einen passiven Input. Beispiel: Sprache und Lippenbewegung Ablauf:

22 Zeitlich abgestufte Interfaces Verarbeiten verschiedene Modalitäten, welche zeitlich aufeinander folgen. Beispiel: Blick – Gestik – Sprache Ablauf:

23 Prinzipien für das Design von MM Interfaces

24 Synchronisation MM Interface muss Mechanismen haben, welche garantieren, dass die verschiedenen Input-Streams korrekt miteinander verknüpft werden. Beispiel: Point and Talk. Wichtigste Dimension bei Sprachinput ist die Zeit. Bei visueller Interaktion: Raum.

25 Abschwächung/Anpassung I MM Interfaces müssen analog der zwischenmenschlichen Kommunikation abschwächbar sein. Beispiel: Telefongespräch. Wegfall aller visuellen Kommunikationsmittel. Bei multimodalen Systemen: z.B. Veränderung der Umgebung

26 Abschwächung/Anpassung II Zusätzliche (redundante) Modalitäten führen zu anpassungsfähigen Systemen. Vorsicht bei sich gegenseitig ergänzenden Modalitäten Sich verändernde Möglichkeiten beachten V.a. bei mobilen Systemen ist zu berücksichtigen, dass sich die dem User zur Verfügung stehenden Möglichkeiten sehr schnell ändern können.

27 Gemeinsamer Status für verschiedene Modalitäten Wenn verschiedene Modalitäten für das Ausführen einer Aktion eingesetzt werden, benötigen alle beteiligten Input-Streams einen gemeinsamen Interaktionsstatus. Wichtig z.B. bei: Wechsel der Modalität History Funktion

28 Lost in space Problem Verwirrung durch zu grosse Funktionalität Problem besteht bereits bei herkömmlichen GUIs besteht das Problem. Verschärfung des Problems durch zusätzliche Modalitäten. Benutzer mit intelligenten, angepassten Dialogen führen.

29 Context Awareness MM Interfaces sollten sich der Umgebung des Users anpassen Bedürfnisse und Möglichkeiten des Benutzers Direkte Umgebung des Benutzers Bandbreite

30 Beispiel MATCH Multimodal Access To City Help (AT&T Labs 2001), Quelle:

31 Fragen?


Herunterladen ppt "Multimodale Interfaces Jonas Tappolet, Domenic Benz."

Ähnliche Präsentationen


Google-Anzeigen