Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Präsentation zum Thema: "Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality."—  Präsentation transkript:

1 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality

2 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt02 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

3 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt03 Motivation Erweiterung der Realität mit virtueller Information in Echtzeit Überzeugende Gestaltung der AR Intuitive Benutzung des AR Systems Verwirrung vermeiden

4 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt04 Voraussetzungen Natürliche Einbeziehung virtueller Elemente in die Realität Geometrisch korrekte Anordnung Implementierung von Wechselwirkungen Visuelle Effekte Physikalische Effekte Menge virtueller Information

5 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt05 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

6 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt06 Grasp 1.2 Augmented Vision System User Interaction and Visualisation (UI&V) Group der European Computer-Industry Research Centre GmbH (ECRC) Einfaches Basissystem zur Erforschung grundlegender Technologien

7 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt07 Grasp 1.2 System Hardware-Struktur

8 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt08 Grasp 1.2 System Luminance Keying

9 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt09 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

10 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt10 Darstellung der Realität Modellbasierter Ansatz Tiefenbasierter Ansatz

11 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt11 Modellbasierter Ansatz Darstellung des realen Objekts durch virtuelles Modell Deckungsgleiche Anordnung in der VR anhand der Koordinaten des realen Objekts Modell übernimmt Eigenschaften des realen Objekts in der VR

12 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt12 Modellbasierter Ansatz (Grasp 1.2 System) Manuelle Festlegung von Punkten mit bekannten Koordinaten im Kamerabild Errechnung der Transformation vom lokalen Koordinatensystem des Objekts und dem Koordinatensystem der Kamera Alternativ: Festlegung der Koordinaten über 6D Pointing Device

13 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt13 Modellbasierter Ansatz (Grasp 1.2 System)

14 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt14 Tiefenbasierter Ansatz Erstellen einer Depth Map Enthält für jeden Bildpunkt die Distanz zu Kamera Computer Vision Algorithmen (shape from X)

15 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt15 Tiefenbasierter Ansatz (Grasp 1.2 System)

16 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt16 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

17 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt17 Verdeckung Abhängig von AR System Grasp 1.2 System Abhängig von der Darstellung der Realität

18 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt18 Virtuelles verdeckt Realität Luminance Keying

19 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt19 Virtuelles verdeckt durch Realität Modellbasiert: Deckungsgleiche Anordnung des Modells Rendern in Schwarz Luminance Keying

20 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt20 Virtuelles verdeckt durch Realität

21 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt21 Virtuelles verdeckt durch Realität Tiefenbasiert: Berechnung eines Polygons aus Depth Map Rendern in Schwarz Luminance Keying

22 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt22 Virtuelles verdeckt durch Realität Tiefenbasiert: Werte aus Depth Map in Z-Buffer der Grafik-Hardware Beschränkung auf Darstellung betragsmäßig größerer Z-Werte Schwarzer Hintergrund Luminance Keying

23 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt23 Virtuelles verdeckt durch Realität

24 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt24 Modellbasiert vs. Tiefenbasiert Modellbasiert: + Leichte Assimilation bei Änderung der Kameraperspektive bzw. der Umgebung – Zunahme der Rechenzeit proportional zur Anzahl und Komplexität der Objekte (Polygone)

25 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt25 Modellbasiert vs. Tiefenbasiert Tiefenbasiert: + Berechnungszeit unabhängig von Komplexität – Neuberechnung der Depth Map bei Änderung der Kameraperspektive bzw. der Umgebung

26 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt26 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

27 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt27 Erkennen von Kollisionen Modellbasiert: Verwendung der konventionellen Verfahren aus der Computeranimation und der VR

28 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt28 Erkennen von Kollisionen Tiefenbasiert: Abgleich der Z-Werte des Objekts mit den entsprechenden Werten im Z-Buffer Kollision bei bei größerem Wert im Buffer Performanz: Einschränkung auf bounding box

29 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt29 Erkennen von Kollisionen

30 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt30 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

31 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt31 Gravitation Bewegung in y-Richtung Prüfen auf Kollision Drehen in stabile Lage

32 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt32 Überblick Einleitung Grasp 1.2 Augmented Vision System Darstellung der Realität Verdeckung Erkennen von Kollisionen Gravitation Menge virtueller Information Zusammenfassung

33 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt33 Menge virtueller Information Verwirrung vermeiden Bezug zur Realität erhalten Anhaltspunkte zum Verständnis der Geometrie

34 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt34 Virtuelles Röntgenbild Erweitern Realität durch eine geometrisch adäquate, virtuelle Realität Interactive Tools for Virtual X-Ray Vision in Mobile Augmented Reality Ryne Bane, Tobias Höllerer

35 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt35 Virtual X-Ray Vision Tunnel Tool Room Selector Tool Room in Miniature Tool Room Slicer Tool

36 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt36 Tunnel Tool Begrenzung des virtuellen Bereichs durch Kegelstumpf

37 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt37 Tunnel Tool

38 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt38 Room Selector Tool

39 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt39 Room in Miniature Tool

40 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt40 Room Slicer Tool

41 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt41

42 Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality Stefan Machleidt42 Zusammenfassung