Interaktion und Animation in Multimediasystemen Virtual Reality Augmented Reality

Virtual Reality & Augmented Reality Begriffsklärung, Definitionen Verwendete Technologien Ein Beispiel: das ARToolkit Anwendungsfelder für VR & AR Probleme und Gefahren 6. Quellenangabe und Einladung

Virtual Reality & Augmented Reality 1. Begriffsklärung, Definitionen Virtual Reality (VR) ist ... ... eine rechnergestützte, synthetische Umgebung, welche echtzeitfähig und interaktiv ist und dem Betrachter eine Reihe alternativer Sinneseindrücke mit einem unterschiedlichem Grad der Immersion vermittelt („immersive VR“, „fish-tank-VR“).

Virtual Reality & Augmented Reality Das Reality-Virtuality Continuum (nach Paul Milgram)

Virtual Reality & Augmented Reality Augmented Reality / Augmented Virtuality:

Virtual Reality & Augmented Reality Häufig verwendete Synonyme: „Virtual Environments“ (für VR) „Enhanced Reality“ (für AR) „Mixed Reality“ (für AR und AV)

Unterschiedliche Bezugspunkte in VE: Virtual Reality & Augmented Reality Unterschiedliche Bezugspunkte in VE: Das Centricity Continuum (nach P. Milgram)

Virtual Reality & Augmented Reality Unterschiedliche Bezugspunkte in VE / MR: Art der Perspektive (Kamerasicht): Egozentrisch oder Exozentrisch Arten von Augmented Reality: Head-stabilized (immer gleiche Position im Sichtfeld) Body-stabilized (Beispiel „virtueller Kompass“) World-stabilized (perfekte Überblendung mit Realität)

Virtual Reality & Augmented Reality 2. Verwendete Technologien Anzeigegeräte und Hilfsmittel: Projektionswände, Virtual Table, CAVEs für 3D-Brillen 3D-Brillen (anaglyphisch, passive Brillen für lineare oder zirkuläre Polarisation, aktive „Shutter“-Brillen, ...) Autostereoskopische Projektionsgeräte (ohne Brillen) HMDs (mit CRT oder LCD, mit video see-through oder optical see-through) Retina-Displays (Informationen direkt auf die Netzhaut) ...

Virtual Reality & Augmented Reality Anzeigegeräte und Hilfsmittel (Beispiele): Verschiedene Bauformen von Head Mounted Displays:

Virtual Reality & Augmented Reality Unterschied zwischen video und optical see-through: Blick aus einem HMD (optical see-through) Blick aus einem HMD (video see-through)

Virtual Reality & Augmented Reality Projektionswänden für passive Brillen (Prinzip): Projektionswänden für Shutter-Brillen (Prinzip): Polarisation des Lichtes (linear / zirkulär)

Virtual Reality & Augmented Reality Beispiele für eine Shutterbrille Beispiel für eine Projektionswand: (Quellen: Firmen BARCO, FakeSpace, digital Image, weitere)

Virtual Reality & Augmented Reality Prinzipieller Aufbau einer CAVE-Architektur (hier eine „DAVE“) CAVE mit 6 Wänden (Quellen: Firmen BARCO, FakeSpace, digital Image)

Virtual Reality & Augmented Reality Retina Display von MicroVision

Virtual Reality & Augmented Reality Tracking-Systeme (für Positionsbestimmung): Bestehen aus einem oder mehreren Sendern, einem oder mehreren Empfängern und einer Verarbeitungsanlage: Klassifikation anhand der Anzahl der Freiheitsgrade (DOF -degrees of freedom), der Aktualisierung (in Hz), der Genauigkeit (abhängig von der Entfernung und Technologie) und der Art der verwendeten Technologie (nächste Seite)

Virtual Reality & Augmented Reality Arten von Tracking-Systemen: Mechanisches Tracking (Fa. FakeSpace) Magnetisches Tracking (Polhemus, Ascension Technologies) Optisches Tracking (mittels Markern und Kameras) Ultraschall (Fa. Science Accessoires) Trägheitsnavigation (mit Gyroskop und Accelerometer) GPS und differential corrected GPS (für Außen-Einsatz) ...

Virtual Reality & Augmented Reality Mittel zur Interaktion: Datenhandschuhe mit Tracking Spezielle 3D-Mäuse u.ä. Gestenerkennung Spracherkennung weitere ... „CyberGrasp“ von Virtual Technologies „Cubic Mouse“

Haptische Interfaces und Force Feedback: Virtual Reality & Augmented Reality Haptische Interfaces und Force Feedback: „Dextrous Handmaster“ (Firma Exos) Projekt „Feel-through“ (von Hiroo Iwata, Universität Tsukuba, Japan)

Virtual Reality & Augmented Reality 3. Ein Beispiel: das ARToolkit Entstehung und Hintergrund: Entwickelt am HITL (Human Interface Technology Laboratory, University of Washington), in Zusammenarbeit mit anderen Institutionen, im Rahmen des „Shared Space“ Projektes. Hauptentwickler: Hirokazu Kato (Hiroshima City University), Mark Billinghurst (HITL, University of Washington). Das ARToolkit bietet einen modernen Ansatz, der Computer Vision Techniken und AR Techniken kombiniert, um damit die Programmierung von AR Applikationen zu ermöglichen.

Virtual Reality & Augmented Reality Vorteile: Funktioniert mit Standard-Hardware (WebCam und Monitor) ebenso wie mit spezieller VR Hardware (muss von Microsoft Vision SDK bzw. Vision 4 Linux unterstützt werden). Verfügbar für verschiedene Plattformen und Betriebssysteme. Frei verfügbar als OpenSource, mit Dokumentation und Beispiel-Programmen, sowie Applikationen zur Kalibrierung von 3D-Hardware. Nachteile: Gebunden an optische Marker, die sichtbar sein müssen.

Virtual Reality & Augmented Reality Prinzipielle Funktionsweise: (die Programmierung wird ausführlich beschrieben in einem Manual, das auf den Seiten des HITL zur Verfügung steht.)

Bilder (Einsatz von ARToolkit-Programmen): Virtual Reality & Augmented Reality Bilder (Einsatz von ARToolkit-Programmen): und nun noch ein kleiner Film von folgender Internet-Seite: http://mixedreality.nus.edu.sg/research-LIVE-videos.htm

Virtual Reality & Augmented Reality 4. Anwendungsfelder für VR & AR - Flugsimulatoren, Schiffssimulatoren (z.B. Warnemünde) - Medizin allgemein ("Röntgen-Blick", für OP / Ausbildung) - Psychotherapie (VR für "exposure therapy") - Schmerztherapie (VR für "patient distraction") - CSCW (VR oder mixed reality umgebung) - Telexistence / Telepresence (Roboter fernsteuern) Visualisierung, Planung (Autobau, Architektur, Bautechnik) - 3D-Präsentation, Werbung, Sponsoren-Suche - immersive Computerspiele / Unterhaltungsmedien - Militär (virtuelles Training, taktische Informationen)

Virtual Reality & Augmented Reality VR in der Schmerztherapie und Psychotherapie:

Virtual Reality & Augmented Reality CSCW (computer supported collaborative work) Mögliche Vorteile durch AR: virtuelle Objekte können diskutiert und ausgetauscht werden reale Objekte können im MR Szenario einbezogen werden natürliche Kommunikation (mit „cocktail-party“ Effekt)

Virtual Reality & Augmented Reality Spiel „AiR AR hockey“ (kurz: AR² hockey) ehem. Projekt des Mixed Reality Systems Laboratory (Japan)

Virtual Reality & Augmented Reality 5. Probleme und Gefahren Technische Probleme: Problem: Es wird eine große Rechenkapazität benötigt. Früher wurden bevorzugt Silicon Graphics Interface Workstations eingesetzt (z.B. die berühmte „Onyx“-Serie). Gegenmittel: für Präsentationen: vorgerenderte Szenen, Umgebung mit niedriger Komplexität (und Immersion) nutzen Problem: Die Auflösung von HMDs ist relativ gering, die Bildwiederholrate ebenfalls, das Sichtfeld ist eingeschränkt es gibt Latenzzeiten. Gegenmittel: noch keine Problem: Tracking-Systeme haben Beschränkungen für Einsatz-Umgebung und Genauigkeit. Gegenmittel: neue Algorithmen für Kalibrierung, Umgebung berücksichtigen

Virtual Reality & Augmented Reality Physiologische Probleme: Stereoskopisches Sehen muss einwandfrei funktionieren. Kinder müssen erst Orientierung in der realen Welt lernen, Patienten mit Augenkrankheiten sind ausgeschlossen von VE „Simulator-Sickness“ durch Latenzzeit und Auflösung der Displays, sowie andere irritierende Einflüsse auf das menschliche Wahrnehmungssystem Soziale Probleme und potentielle Gefahren: Soziale Abgrenzung (Realitätsflucht, Kontaktarmut) Realitätsverlust (geänderter Umgang mit realen Personen und Objekten, eventuell Schizophrenie-ähnliche Störungen)

Virtual Reality & Augmented Reality 6. Quellenangabe und Einladung Yuichi Ohta, Hideyuki Tamura: "Mixed Reality - Merging Real and Virtual Worlds", Ohmsha / Springer, 1999. Internet: http://www.scipro.de/studium/vrar/latex2html/vr-ar.html http://www.stereo3d.com http://www.hitl.washington.edu (von dort verlinkte Seiten wurden ebenfalls einbezogen)