Mobile Augmented Reality Entwicklung einer Smartphone basierten Anwendung Christoph Blut RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik.

Präsentation zum Thema: "Mobile Augmented Reality Entwicklung einer Smartphone basierten Anwendung Christoph Blut RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik."—  Präsentation transkript:

1 Mobile Augmented Reality Entwicklung einer Smartphone basierten Anwendung Christoph Blut RWTH Aachen University Geodätisches Institut Lehrstuhl für Bauinformatik & Geoinformationssysteme

2 Christoph Blut Inhaltsverzeichnis  Augmented Reality  Mobile Augmented Reality System  Polygon Triangulierung  Augmented Reality Applikation 2 Doktorandenkolloquium 2015

3 Christoph Blut Augmented Reality 3 Doktorandenkolloquium 2015 Quelle: WikitudeQuelle: NokiaQuelle: MercedesQuelle: BMW

4 Christoph Blut Mobile Augmented Reality System  Nexus 5  Android 5.0.2  Full-HD Display  8 MP Kamera mit optischer Bildstabilisierung  32 GB interner Speicher  2 GB RAM  Sensoren GPS Gyroskop Beschleunigungsmesser Kompass Barometer Halleffekt 4 Doktorandenkolloquium 2015 Quelle: Google

5 Christoph Blut Datenbasis... 6.176 3.714 -1.202... … 5 Doktorandenkolloquium 2015  City Geography Markup Language (CityGML)  Situationsbedingt Level of Detail (LoD) wählbar

6 Christoph Blut Augmented Reality - Anwendungsfälle 6 Doktorandenkolloquium 2015  Digitale Bauwerksmodelle  Möglichkeiten Visualisierung geplanter Bauwerke Visualisierung historischer Bauwerke

7 Christoph Blut Augmented Reality - Anwendungsfälle 7 Doktorandenkolloquium 2015 Raum: 23 220 Volt Raum: 24 Rigips  Digitales Bauwerksmodell / Innenraummodell  Georeferenziertes (Innenraum)Modell Abruf von Objektinformationen Visualisierung verdeckter Objekte (X-Ray)

8 Christoph Blut Mobile AR-System  Komponenten des AR-Systems  Datenverarbeitung Datenimport Datenspeicherung Datenabfrage  Datenvisualisierung Polygon Triangulierung Rendering  Tracking Tracking des AR-Devices im realen 3D-Raum Positionierung und Ausrichtung der Kamera an ansprechender Stelle im virtuellen 3D-Raum 8 Doktorandenkolloquium 2015

9 Christoph Blut Mobile AR-System  Komponenten des Systems  Datenverarbeitung Datenimport Datenspeicherung Datenabfrage  Datenvisualisierung Polygon Triangulierung Rendering  Tracking Tracking des AR-Devices im realen 3D-Raum Positionierung und Ausrichtung der Kamera an ansprechender Stelle im virtuellen 3D-Raum 9 Doktorandenkolloquium 2015

10 Christoph Blut CityGML - Parser  Umsetzung  Datenimport mit CityGML-Parser (Android Pull-XML- Parser) Suche nach vordefinierten XML-Tags in der CityGML-Datei Wird ein XML-Tag gefunden  Auslesen der relevanten Informationen und Einfügen in Datenbank 10 Doktorandenkolloquium 2015 Ein Testgebäude Test-Building 2014-09-16 1000 2014 1030 8.72 2 1 … DB-Eintrag (Building): -ID: GMLID_BUI151504_544_1149 -Description: Ein Testgebäude -Name: Test-Building …

11 Christoph Blut CityGML - Datenspeicherung  SQLite  SQLite liegt Android bei  Serverlose, transaktionale SQL Datenbankengine  Einzelne Datenbankdatei (austauschbar)  SQLite Nachteil  Nativ keine räumlichen Funktionalitäten 11 Doktorandenkolloquium 2015

12 Christoph Blut CityGML - Geometriespeicherung  SpatiaLite  SpatiaLite ergänzt SQLite um räumliche Operationen Unterstützung von Geometrietypen wie Punkte, Linien und Polygonen und komplexeren Typen wie multiplen Polygonen, im 2D, als auch im 3D- Raum Geometrische Abfragen / Operationen (contains, equals, touches, etc.) Möglichkeit des Aufbaus eines räumlichen Index 12 Doktorandenkolloquium 2015

13 Christoph Blut Mobile AR-System  Komponenten des AR-Systems  Datenverarbeitung Datenimport Datenspeicherung Datenabfrage  Datenvisualisierung Polygon Triangulierung Rendering  Tracking Tracking des AR-Devices im realen 3D-Raum Positionierung und Ausrichtung der Kamera an ansprechender Stelle im virtuellen 3D-Raum 13 Doktorandenkolloquium 2015

14 Christoph Blut CityGML Polygone  CityGML  Polygone sind über Punkte definiert  Graphics Processing Unit (GPU) kann nur Dreiecke zeichnen CityGML Polygone müssen daher trianguliert werden 14 Doktorandenkolloquium 2015 458877 5438358.492403877 3.91317591116654 458877.12 5438358.492403877 3.91317591116654 458877.12 5438358.498097349 3.95642212862617 458877 5438358.498097349 3.95642212862617 458877 5438358.492403877 3.91317591116654

15 Christoph Blut Ear Clipping Algorithmus - Aktivitätsdiagramm 15 Doktorandenkolloquium 2015

16 Christoph Blut Ear Clipping Triangulation  Schritt 1  Voraussetzungen prüfen Überschneidungsfreiheit des Polygons Punkte des Polygons müssen geordnet sein (gegen den Uhrzeigersinn) 16 Doktorandenkolloquium 2015 4 2 1 8 7 6 5 3

17 Christoph Blut Ear Clipping Triangulation  Schritt 2  Polygon prüfen ob konvex oder konkav 17 Doktorandenkolloquium 2015 konvex konkav ?

18 Christoph Blut Ear Clipping Triangulation  Schritt 3 (Konvexer Fall)  Einfache Triangulierung Geordnete Punkte der Reihe nach verbinden Beliebigen Punkt wählen und mit allen anderen Punkten verbinden, außer den direkten Nachbarn 18 Doktorandenkolloquium 2015 konvex

19 Christoph Blut Ear Clipping Triangulation  Schritt 3 (Konkaver Fall)  Pseudo-Code while (points.length > 3) earTip = findEarTip() cutEarTip(earTip) classifyPoint(prevNeighbour(earTip)) classifyPoint(nextNeighbour(earTip)) 19 Doktorandenkolloquium 2015 konkav findEarTip: Finde den ersten konvexen Punkt, für den gilt: Kein anderer Punkt liegt im Dreieck, das sich aus dem Punkt und seinen Nachbarn zusammensetzt. Ignoriere dabei alle konvexen Punkte, da diese nicht im Dreieck liegen können. cutEarTip(point): Entferne das Ohr vom Polygon und speichere das Dreieck, das sich aus dem Punkt und seinen Nachbarn bildet. classifyPoint(point): Prüfe ob der Punkt konvex, konkav oder kollinear ist. Gleicher Test, wie oben beschrieben. Speicher

20 Christoph Blut Ear Clipping Triangulation 20 Doktorandenkolloquium 2015 konkav 2 3 4 1 7 6 5 8 3 2 1 4

21 Christoph Blut Ear Clipping Triangulation  Spezialfall  Polygon (mit Loch) Äußerer Ring gegen den Uhrzeigersinn Innerer Ring im Uhrzeigersinn  Vorgehen des Algorithmus  Die inneren Polygone werden mit dem äußeren Polygon verbunden.  Zuerst finde einen geeigneten Punkt des äußeren Polygons um dieses mit dem Inneren zu verbinden  Benutze den gefunden Punkt nun um zwei neue Kanten einzufügen um das Polygon „aufzuschneiden“. 21 Doktorandenkolloquium 2015 konkav 2 3 4 1 7 6 5 8 3 2 1 4

22 Christoph Blut Ear Clipping Triangulation  Spezialfall  Polygon (mit multiplen Löchern) Dasselbe Verfahren, wie bei einem einzelnen Loch Alle Löcher von rechts nach links mit dem äußeren Polygon verbinden 22 Doktorandenkolloquium 2015 konkav 2 3 4 1 7 6 5 8 3 2 1 4

23 Christoph Blut Ear Clipping Triangulation  Triangulierung im 3D-Raum (3D-Objekt)  Projektion der einzelnen Polygone in 2D-Raum Flächennormale des Polygons berechnen und Komponente mit größtem absoluten Wert ignorieren  Triangulierung durchführen  Anschließend Rücktransformation in 3D-Raum 23 Doktorandenkolloquium 2015

24 Christoph Blut Ear Clipping Triangulation  Nachteile Ear Clipping Algorithmus  Bei Polygonen mit unregelmäßiger Punktverteilung können Dreiecke unterschiedlicher Größe entstehen, was zu Grafikfehlern führen kann.  Zeitkomplexität: O(n) [konvex]; O(n²) [konkav] Optimierung (Offenes Problem)  Implementation der Delaunay-Triangulation Ziel: Erzeugung eines ausgewogeneren Dreiecksnetzes Zeitkomplexität: O(n*log(n)) 24 Doktorandenkolloquium 2015

25 Christoph Blut Stadtmodell Aachen  Testdaten der kompletten StädteRegion Aachen  CityGML-Modelle (LoD-2) 8 Städte und 2 Gemeinden 707,1 km² 249277 Gebäude und 110494 Gebäudeteile 3058391 Polygone 25 Doktorandenkolloquium 2015 Quelle: TUBS

26 Christoph Blut 26 Doktorandenkolloquium 2015 Stadtmodell Aachen Quelle der Modelldaten: StädteRegion Aachen

27 Christoph Blut Darstellungsinformationen  Darstellungsinformationen  X3D-Material Liefert Darstellungsinformationen für Polygone 27 Doktorandenkolloquium 2015 0.95703125 0.75 0.44921875 0 0 0 1 1 1 1.0 #PolyID58906_886_364949_26381 #PolyID58803_371_698036_77126

28 Christoph Blut Gebäudevisualisierung 28 Doktorandenkolloquium 2015 Triangulierung + Darstellungsinformationen Quelle der Modelldaten: Karlsruher Institut für Technologie

29 Christoph Blut 29 Doktorandenkolloquium 2015 Innenraum-Visualisierung Quelle der Modelldaten: Karlsruher Institut für Technologie

30 Christoph Blut AR-Applikation 30 Doktorandenkolloquium 2015 Quelle der Modelldaten: Karlsruher Institut für Technologie

31 Christoph Blut Mobile AR-System  Komponenten des AR-Systems  Datenverarbeitung Datenimport Datenspeicherung Datenabfrage  Datenvisualisierung Polygon Triangulierung Rendering  Tracking Tracking des AR-Devices im realen 3D-Raum Positionierung und Ausrichtung der Kamera an ansprechender Stelle im virtuellen 3D-Raum 31 Doktorandenkolloquium 2015

32 Christoph Blut Tracking  Aktueller Stand  Positionierung per GPS  Orientierung über Smartphone interne Sensoren 32 Doktorandenkolloquium 2015 GPS Gyroskop Accelerometer Kompass Näherungs-/ Umgebungslichtsensor Barometer Halleffekt Nexus 5 Sensoren

33 Christoph Blut Tracking - Optimierung  Edge Based Tracking  Überlagerung von 3D-Modell und realem Gebäude 33 Doktorandenkolloquium 2015

34 Christoph Blut Danke 34 Doktorandenkolloquium 2015 Fragen ?