5. Direkte Manipulation und Virtual Reality

Direkte Manipulation und Virtual Reality 5 Direkte Manipulation und Virtual Reality 5.1 Direkte Manipulation 5.2 Virtual Reality 5.3 3D-Widgets 5.4 Augmented Reality

5.1 Direkte Manipulation … ist eine Form der Mensch-Computer Interaktion, bei der der Benutzer graphisch visualisierte Objekte mit einem Zeigegerät (z.B. einer Maus) am Bildschirm bewegen, verändern oder in eine bestimmte Relation setzen kann. … beruht auf dem Prinzip, dass die Objekte mit denen in einer Anwendung gearbeitet wird, auf dem Bildschirm sichtbar sind, dass direkt auf sie gezeigt oder zugegriffen werden kann. - Voraussetzung für die Verwendung von direkter Manipulation ist die Verfügbarkeit eines Zeigeinstruments zur Anwahl von Objekten. B. Shneiderman, 82: The Future of Interactive Systems and the Emergence of Direct Manipulation. B.Shneiderman. 83: Direct Manipulation: A Step beyond Programming Languages.

5.1 Direkte Manipulation Desktop- Metapher: (um ca. 1970; Alan Kay at Xerox PARC) Xerox Star: „The best way to predict the future is to invent it.“

5.1 Direkte Manipulation 1983: Erstes auf dem Markt verfügbares desktop-ähnliches Interface C64 Magic Desk 1 : Bedienung mit Joystick

Direkte Manipulation 1984: Apple Macintosh 5.1 Machte als erster Rechner die Desktop Metapher populär Nachzügler: Amiga OS, Arcorn, Microsoft Windows.

Direkte Manipulation Kennzeichnende Prinzipien 5.1 Direkte Manipulation Kennzeichnende Prinzipien permanente Sichtbarkeit der für die Aufgabe relevanten Objekte Direktes Feedback zu den Eingabeaktionen (Sichtbarkeit des Pointers oder der Werkzeuge) schnelle, umkehrbare, einstufige Benutzeraktionen hohe Interaktivität - Ersetzung komplexer Kommandos durch physische Aktionen Veränderungen werden sofort sichtbar

Direktes Feedback Veränderung der Darstellung von Objekten 5.1 Direktes Feedback Veränderung der Darstellung von Objekten Vermittlung von Bewegung Kontinuierliche Bewegungsdarstellung Vorschau (Jef Raskin: Indication) Kennzeichnung selektierter Flächen Darstellung neuer Informationen Direkte Veränderung der Schriftform

Manipulation von Objekten 5.1 Manipulation von Objekten Graphische Objekt Darstellung: Die zu bearbeitenden Daten werden als graphische Objekte repräsentiert incl. der jeweils möglichen Operationen Eingabe als Manipulation von Objekten Referenzen zwischen Objekten werden durch Zeigeoperationen hergestellt WYSIWYG: What you see is what you get.

Was bedeutet Direktheit 6.1 Was bedeutet Direktheit semantischer Bezug Assoziation von Wirklichkeit Einfache physische Aktion Direktheit ist ein Eindruck oder ein Gefühl, das aus der verringerten Bindung kognitiver Ressourcen resultiert. Die Kluft zwischen Aktionen mit dem System und Zielerreichung wird verringert – Umwege vermieden. Mother of all demos: Dieses Icon repräsentiert ein File. Dieses einen Ordner.  Dies ist mein Dokument, dies ist der Papierkorb. Indirektheit wird aufgehoben. Cognitiver Ballast wird über Bord geworfen. Nicht nur die Ikonizität der Ausgabe, sondern auch der Eingabehandlungen nimmt zu  Die Eingaben erfordern Bewegungen, die den erwünschten Veränderungen ähneln.

Selektionsreihenfolge: Objekt vs. Funktion 5.1 Selektionsreihenfolge: Objekt vs. Funktion Vorteile von Funktion  Objekt (FO): OF kann nicht immer realisiert werden, insbesondere beim Erzeugen neuer Objekte FO erleichtert die Manipulation mehrerer Objekte (z.B. Vertauschen, Einfärben) FO ermöglicht die Unterstützung bei der Selektion der Objekte Vorteile von Objekt  Funktion (OF): FO kann sehr komplex sein, da Objektselektion von F abhängen kann FO ist fehleranfälliger bei Fehlselektion eines Objektes Die vollzogene Objektselektion kann helfen das Funktionsangebot einzuschränken Jef Raskin : Noun-Verb vs. Verb-Noun

Interaktionsparadigmen: OF vs. FO 5.1 Interaktionsparadigmen: OF vs. FO Unterscheidung zwischen Aktionen zur Vorbereitung eines Arbeitsschrittes (z.B. Selektion, Toolauswahl) und Aktionen, die den Arbeitsgegenstand tatsächlich verändern (Funktion auf Auswahl anwenden, Tool auf getroffenes Objekt anwenden)  Erzeugen einen Undo Schritt. I.d.R.: Objektauswahl fehleranfälliger als Toolauswahl Besonders relevant bei Touchinteraktionen  Falls verschiedene Paradigmen angeboten werden sollten diese zum restlichen Interaktionskonzept passen. Beispiel : Text einfärben in MS Word.  Undo Mechanismus funktioniert nicht wie erwartet.  Gewähltes Paradigma hat unmittelbaren Einfluss auf die Anzahl der Schritte einer Aktion (Clicks)  Einfluss auf Effizenz

Nachteile von Direkter Manipulation 5.1 Nachteile von Direkter Manipulation Wiederholung von gleichförmigen Aktionen, komplexere, zusammengefasste Aktionen sind nur schwer realisierbar Es wird z.T. zu hohe Genauigkeit verlangt Problem, wenn „weit von einander entfernte“ Objekte manipuliert oder sogar verbunden werden Die Bedeutung der visuellen Darstellung muss erlernt werden Für erfahrene Typisten zu langsam

Vergleich von Steuerungsmöglichkeiten 4.5 Vergleich von Steuerungsmöglichkeiten Filename Number Size Date Filename Number Size Date Radio button 1 2 3 4 F N S D One Entry Area F, N, S, D 4 Entry Areas 1. Position: 2. Position: 3. Position: 4. Position:

Vergleich - Ergebnisse 4.5 Vergleich - Ergebnisse Preference Speed Direct Manipulation. O O Selection. Icons. Radio Buttons. ++ ++ Menus (Drop-down list boxes). ++ Entry One entry area. ++ ++ Four entry areas.

Anwendungsbereich von DM 5.1 Anwendungsbereich von DM ursprüngliche Entwicklung mit Hinblick auf geometrische Daten und 2-dimensionale Darstellung von Daten Tabellenkalkulation Browser Videospiele, CAD-Systeme Haustechnik regulieren Danach auch für 2,5D und 3D Objekte und Welten relevant Spiele Medizin Flugsimulatoren, Architektur

Zeitschaltuhr für Videorecorder 6.1 Zeitschaltuhr für Videorecorder VCR = Video Cassette Recorder Shneiderman, S. 260

Zeitschaltuhr für Videorecorder 6.1 Zeitschaltuhr für Videorecorder Gulf of Evaluation; Gulf of Execution Shneiderman, S. 260

On Screen Scheduling VCR 6.1 On Screen Scheduling VCR Shneiderman, S. 260

Virtual Reality Haupteinsatzbereich: Simulation zum/zur Training Erprobung Unterhaltung auch Nebenzweck: Medizinische Therapie

Interaktion mit Virtuellen Räumen 5.2 Interaktion mit Virtuellen Räumen Shneiderman, S. 272

Tiefeneindruck zwecks Therapie 5.2 Tiefeneindruck zwecks Therapie Shneiderman, S. 270

5.2 Second Life Second Life (abbreviated as SL) is a Game developed by Linden Lab that launched on June 23, 2003 and is accessible via the Internet. A free client program called the Second Life Viewer enables its users, called Residents, to interact with each other through avatars. Residents can explore, meet other residents, socialize, participate in individual and group activities, and create and trade virtual property and services with one another, or travel throughout the world, which residents refer to as the grid. Second Life caters for users aged over eighteen, while its sister site Teen Second Life is restricted to users aged between thirteen and eighteen. http://www.youtube.com/watch?v=b72CvvMuD6Q&NR=1 http://www.youtube.com/watch?v=kEdZ7uXerVg

Immersion („Versenkung“) 5.2 Immersion („Versenkung“) Immersion is the state of consciousness where an immersant's awareness of physical self is diminished or lost by being surrounded in an engrossing total environment; often artificial.[1] This state is frequently accompanied by spatial excess, intense focus, a distorted sense of time, and effortless action.[2]

5.2 Arten der „Immersion“ Tactical immersion is experienced when performing tactile operations that involve skill. Players feel "in the zone" while perfecting actions that result in success. Strategic immersion is more cerebral, and is associated with mental challenge. Chess players experience strategic immersion when choosing a correct solution among a broad array of possibilities. Narrative immersion occurs when players become invested in a story, and is similar to what is experienced while reading a book or watching a movie. Spatial immersion occurs when a player feels the simulated world is perceptually convincing. The player feels that he or she is really "there" and that a simulated world looks and feels "real". Psychological immersion occurs when a player confuses the game with real life. Sensory immersion The experience of entering into the three-dimensional environment, and being intellectually stimulated by it.

Bestandteile von VR 3D Präsentations- und Interaktionstechnik 5.2 Bestandteile von VR 3D Präsentations- und Interaktionstechnik Benutzer innerhalb eines dargestellten Szenarios (z.T. als Avatar repräsentiert oder First Person View) Visualisierung und Animation (insbesondere von Bewegung und Veränderungen ) in Echtzeit Manipulierbarkeit (mittels Gesten und Körperbewegung) Räumliches Sehen, Hören und Fühlen muss ermöglicht werden Koordination von Seh-, Hör-, Tast- und Krafteindrücken oder Vibrationsempfinden Rechnerleistung: Festlegung von Modellen der zeigbaren Realitätsausschnitte Aufbereitung der Modelle für die Interaktion Simulation von Abläufen

Interaktive Aktionen in Virtuellen Räumen 5.2 Interaktive Aktionen in Virtuellen Räumen Navigieren – Positionsveränderung des Betrachters Filtern Kollisionserkennung und -vermeidung, vs. -ermöglichung Markieren, Selektieren, Greifen von Objekten, Gruppieren Positionsveränderung der Objekte Veränderung von Eigenschaften Definition oder Modifikation von Freiformflächen Entfernen von Objekten Umordnen Vor- und Zurück in der Zeit Shneiderman, 267f

VR Interaktionssteuerung 5.2 VR Interaktionssteuerung Animation 3D Kollisions-erkennung Beleuchtung / Schatten Tracking Gesten-erkennung Navigation Simulation Object Handler (Objekt-Hierarchie, Vordergrund Hintergrund, verdeckte Objekte) Kraft, Strom, Steuerung Taktiler Renderer Visueller Renderer Akkustisches Rendering

Parameter bei der Erzeugung von Audio-Signalen 5.2 Parameter bei der Erzeugung von Audio-Signalen Medium der Schallübertragung Empfänger (Typ, Position, Bewegung, Empfangscharakteristik) Schallquelle (Typ, Position, Bewegung, Empfangscharakteristik) Akustische Attribute geometrischer Objekte (Eigengeräusch, Absorption von Schall, Reflektion von Schall)

Interaktion mit Virtuellen Räumen durch Körperbewegung 5.2 Interaktion mit Virtuellen Räumen durch Körperbewegung Direkte Manipulation bei der Navigation in bzw. dem Inspizieren von Räumen Eingabeaktionen sind: Änderung der Blickrichtung, Drehen des Kopfes, Drehen des Körpers Gehen Variierung der Gehgeschwindigkeit Bruch der Metapher: Etwas kann durch Gestik hergeholt werden Shneiderman, S.267f

Interaktion mit Gesten - Differenzierung 5.2 Interaktion mit Gesten - Differenzierung Statisch vs. Dynamisch Vorgegebene vs. Antrainierte Relevanz räumlicher Orientierung Relevanz von Übergangsbewegungen Einhand vs. Zweihandgesten Navigation Picking Grouping Querying (Information abrufen) Zooming Grabbing Rotating Moving Release Exit

Vor- und Nachteile von Gesten 5.2 Vor- und Nachteile von Gesten + Gewohnheit kann beibehalten werden + 3D- Bezugsmöglichkeit + Schnelligkeit ggf. Trainingsaufwand („Auswendiglernen“ von Gesten) ggf. Zwang zu unnatürlichen Gesten Beschränkung auf die Hand

Virtuelle Menschen zum Testen von Aufgabenbearbeitung 5.2 Virtuelle Menschen zum Testen von Aufgabenbearbeitung Der Akteur wird programmiert, um unter Einsatz gespeicherten Wissens Aufgaben zu bearbeiten und dabei auftretende Fehler zu melden: Fehlende Reichweite Mangelende Kraft, Sichtbarkeit Probleme mit bewegten Objekten Mögliche Verletzungen Hitze Strom Säuren Badler et al., S. 57

Probleme mit VR Zu teuer Körperliche Beschwerden: Unruhe Übelkeit 5.2 Probleme mit VR Zu teuer Körperliche Beschwerden: Unruhe Übelkeit Übermüdung der Augen Orientierungsstörungen  Simulator Sickness englisch/lateinisch etwa "Übelkeit durch (Vor)täuschung") bezeichnet ein Gefühl der Übelkeit, das durch eine Täuschung oder Irritation der Sinnesorgane zustande kommt. Whitton, S. 44

3D-Widgets für den Umgang mit 3D-Objekten 5.3 3D-Widgets für den Umgang mit 3D-Objekten 6 Handles für Rotation 6 für Translation 6 für Skalierung Preim, S. 441

Griffe für die Skalierung 5.3 Griffe für die Skalierung Preim, S. 442

Schatten zur Unterstützung der Positionierung 5.3 Schatten zur Unterstützung der Positionierung Preim, S. 443

Positionierung einer Kameraperspektive 5.3 Positionierung einer Kameraperspektive Durch die Punktmarkierungen kann angegeben werden, welche Punkt gut zusehen sein sollen. Entsprechend wird die Kameraperspektive justiert. Ggf. ist eine Koppelung mit Beleuchtungspunkten möglich. Preim, S. 443

Geometrisches Manipulieren 5.3 Geometrisches Manipulieren Instrumente zur Deformation Preim, S. 449

Geometrisches Manipulieren 5.3 Geometrisches Manipulieren Preim, S. 449

Fingerfertigkeitstest 5.3 Fingerfertigkeitstest Poston & Serra, S. 41

5.3 Schnitte durchs Herz „Our intended users are not motivated to learn complex command sets ...“ „In abstract a mouse cursor seems far better than a finger, pointing more precisely at a point in the monitor screen. In practice, every screen has fingermarks.“ Poston & Serra, S. 42

5.4 Augmented Reality Realität wird nicht elektronisch simuliert, sondern ergänzt (i.S.v erweitert) Umgebung kann elektronisch Vorgänge in ihr registrieren: Infrarot Sound Optische Veränderung Bewegung  Lagesensor, GPS Transponder ... und reagieren: Displays oder Projektionen aktualisieren Motoren aktivieren Daten abspeichern Aktoren steuern Steuerungswerte verändern Shneiderman, S. 267ff

Augmented Reality – Beispiel Umgang mit Objekten 5.4 Augmented Reality – Beispiel Umgang mit Objekten Minidisplay oder Googles gibt Information aus, in Abhängigkeit von: Räumlicher Nähe von physikalischen Objekten Von translierenden oder rotierenden Bewegungen des Benutzers Objekte im Fadenkreuz können selektiert und annotiert und ggf. identifiziert werden: Informationen zu den Objekten können ergänzt werden Detailinformationen können abgerufen werden Die Begegnung kann registriert werden Nachrichten können hinterlassen werden Sie können gesteuert werden ...

Augmented Reality – Beispiele 5.4 Augmented Reality – Beispiele

Augmented Reality – Head Up Displays 5.4 Augmented Reality – Head Up Displays

Augmented Reality – Overlays 5.4 Augmented Reality – Overlays

Augmented Reality – AR Tags 5.4 Augmented Reality – AR Tags

Augmented Reality – Infantry 5.4 Augmented Reality – Infantry

Augmented Reality – Infantry 5.4 Augmented Reality – Infantry

Augmented Reality – Infantry 5.4 Augmented Reality – Infantry

Augmentet Reality Medizin und Unterhaltung 5.4 Augmentet Reality Medizin und Unterhaltung

Collaborative Augmented Reality Interface - Eigenschaften 5.4 Collaborative Augmented Reality Interface - Eigenschaften Virtualität: Objekte, die nicht in Realität existieren, können gesehen und inspiziert werden Augmentation: Reale Objekte können mit virtuellen Anmerkungen ergänzt werden; virtuelle Bilder, Eigenschaften können mit realen, manipulierbaren Objekten verbunden werden Kooperation: Verschiedene Nutzer können sich gegenseitig sehen und in natürlicher Weise kooperieren Independence: Einzelne Nutzer steuern unabhängig ihre eigenen Blickwinkel/ Sichtfelder Individuality: Daten werden je nach individueller Perspektive unterschiedlich dargestellt. Billinghurst & Kato, S. 67

Collaborative Augmented Reality interface 5.4 Collaborative Augmented Reality interface Billinghurst & Kato, S. 66

Collaborative Augmented Reality im Vergleich 5.4 Collaborative Augmented Reality im Vergleich Face-to-face mit realen Objekten Co-located AR-Kooperation mit virtuellen Objekten, die an reale, handhabbare gekoppelt sind Co-located Kooperation am Projektionsschirm mit virtuellen Objekten  Unter der zweiten Bedingung verhielten sich Nutzer eher, wie bei der Face-to-Face Kooperation (bzgl. Speech und Gestik) Billinghurst & Kato, S. 68

5 Literatur Badler, Norman I.; Erignac, Charles A.; Liu, Ying (2002): Virtual Humans for validating Maintenance Procedures. In: Communications of the ACM, Vol. 46, No 7. S. 56-63. Billinghurst, Mark; Kato, Hirokazu (2003): Collaborative Augmented Reality. Communications of the ACM, Vol. 45, No. 7. S. 64-70. Deering, Michael F. (1996): The Holosketch - VR Sketching System. In: Communications of the ACM, Vol. 39, No. 5. Oviatt, Sharon (2002): Multimodal Interfaces. In: Jacko, Julie A.; Sears, Andrew (Eds.) (2002): The Human-Computer Interaction Handbook. Mahwah, New Jersey: LEA. S. 286-304. Poston, Timothy; Serra, Luis (2003): Dextrous Virtual Work. In: Communications of the ACM, Vol. 39, No. 5. S. 37-45. Preim, Bernhard (1999): Entwicklung interaktiver Systeme. Heidelberg, Springer. Shneiderman, Ben (2002): User Interface Design- deutsche Ausgabe. MITP. Whitton, Mary C. (2003): Making Virtual Environments Compelling. In: Communications of the ACM, Vol. 46, No 7. S. 40-46.