Enhanced Scripts Konzeptionierung einer App auf Basis eines Augmented Reality Frameworks.

Präsentation zum Thema: "Enhanced Scripts Konzeptionierung einer App auf Basis eines Augmented Reality Frameworks."—  Präsentation transkript:

1 Enhanced Scripts Konzeptionierung einer App auf Basis eines Augmented Reality Frameworks

2 Ablauf Grundlagen Anforderungen Augmented Reality Framework
Anforderungsanalyse Strukturierung der Anwendung ARCore & ARKit Umsetzung

3 Das AVMZ produziert Medien erstellt Lernanwendungen
Fotos, Illustrationen, Animationen, Videos, Quizze 360°-Videos & -Bilder erstellt Lernanwendungen Bereitstellung für Medizinstudierende, Mitarbeiter und Schüler der Uniklinik Aachen

4 Problematik Umfrage: 80% der Medizinstudierenden lernen bevorzugt aus Papierskripten Papierskripte: keine Medien, wie Videos, Animationen, detaillierte Bilder Beispiel Operationstechniken: Lassen sich besser in Videos oder vielen einzelnen detaillierten Fotos zeigen

5 Ziel Anwendung für Studierende soll digitale Medien mit Papierskripten auf möglichst einfache Art verbinden Dazu: Einbau von „Markern“ in Papierskripte Erstellen einer Anwendung mit welcher die Studierenden Marker einscannen können Darstellung von digitalen Inhalten als Augmented Reality

6 Augmented Reality Definition von 1997 Zur Umsetzung:
Vereinigung von Realität und Virtualität Registrierung in 3D Interaktivität und Echtzeit Zur Umsetzung: Hardware zur Aufnahme der realen Umwelt Software zur Darstellung der virtuellen Objekte

7 Anforderungen: Funktionen

8 Anforderungen: Usability
Usability = Benutzerfreundlichkeit einfache Bedienung Zuverlässige Interaktion Schnelle Reaktion auf Benutzeraktionen

9 Anforderungen: Marker
Keine expliziten Marker Vorschaubild als Marker zusätzlich Icon zur Kennzeichnung

10 Anforderungen: Medienarten
Fotos, Bilder, 360°-Fotos Illustrationen Videos, interaktive Videos, 360°-Videos Audioinhalte Quizze, Umfragen, Tests Texte, Internetseiten

11 Anforderungen: Darstellung & Technisches
Verfügbarkeit für IOS und Android Darstellung als Augmented Reality

12 Augmented Reality Framework
Übernimmt die Funktionen: Markererkennung Laden des virtuellen Objektes Augmented Reality Darstellung Beispiele: ARToolkit, Vuforia, Wikitude Stellen API für verschiedene Betriebssysteme bereit

13 Augmented Reality Framework: Funktionsweise ARtoolkit

14 Augmented Reality Framework: Probleme
Abhängigkeit von Entwicklung ARToolkit wurde nicht weiterentwickelt, ist mit heutigen Standards nicht kompatibel Alle Frameworks arbeiten mit expliziten Markern

15 Augmented Reality Framework: Fazit
Für dieses Projekt ungeeignet: Abhängigkeit von Entwickler Explizite Marker zum Teil hohe Kosten

16 Anforderungsanalyse Markerlose Erkennung: Offlineverfügbarkeit
Mit Framework nicht umsetzbar Offlineverfügbarkeit Problem bei großen Datenmengen Implementierung für IOS & Android Webbasierte Applikation Zwei native Applikationen

17 Webbasierte Applikation
Wird über jeweiligen Webbrowser aufgerufen Updates in Echtzeit möglich Dauerhafte Internetverbindung erforderlich Entwicklung einer Applikation für alle Geräte / Betriebssysteme Nicht alle betriebssystemabhängigen Funktionen können benutzt werden

18 Native Applikation Werden über den jeweiligen Applikations-Store bereitgestellt Betriebssystemabhängige Funktionen können benutzt werden Updates über Applikations-Store Code liegt im Speicher des Gerätes: schnell Nur mit einem Betriebssystem kompatibel

19 Anforderungsanalyse: Ergebnis
Es wird kein Augmented Reality Framework verwendet Die Offlineverfügbarkeit wird zunächst außer Acht gelassen Bilder, Videos, usw. sind zu groß Es werden zwei native Applikationen (IOS & Android) erstellt Bei Augmented Reality müssen alle Funktionen (Kamera / Sensoren) voll ausgeschöpft werden, um ein gutes Ergebnis zu erzielen

20 Strukturierung der Applikation
Modulare Programmierung (3 Funktionsbereiche): Bilderkennung Laden der Daten Darstellung

21 Bilderkennung Funktionen: Besonderheiten:
die Bildmarker im Papierskript erkennen Bild in geeignetem Format aufnehmen Relevante Daten für Augmented Reality Darstellung speichern Position im Raum Besonderheiten: Mehrere Bildmarker auf einer Seite Qualität der Bildaufnahme

22 Daten laden Funktionen: Besonderheiten:
Aufgenommenes Bild mit Datenbank- Bestand vergleichen Bei Übereinstimmung Datensatz aus Datenbank laden Besonderheiten: Bildvergleich bei ähnlichen Bildern Geschwindigkeit

23 Darstellung Funktionen: Besonderheiten:
Augmented Reality Daten ermitteln Lichteinfluss, Winkel des Gerätes Augmented Reality Darstellung des Mediums Besonderheiten: Unterschiedliche Anzeige verschiedener Medien

24 ARCore API zur Erstellung von Android Applikationen
Von Google 2017 veröffentlich Basierend auf drei Technologien: Motion Tracking: Verfolgt die Position des Gerätes relativ zur realen Umwelt Berechnung mithilfe von Feature Points Environment Understanding: Erkennt Größen und Positionen von horizontalen Flächen Erkennung mithilfe von Mustern in Feature Points Light Estimation: Nimmt die aktuellen Lichtverhältnisse auf Notwendig für optimale Augemnted Reality Darstellung Quelle:

25 ARKIT API zur Erstellung von IOS Applikationen
Von Apple 2017 veröffentlich Basierend auf der Technologie „visual-inertial odometry“: Kombiniert Informationen der Hardware mit Berechnungen aus dem Kamerabild Markante Unterschiede im Kamerabild werden erkannt und mit Bewegungsdaten des Gerätes verglichen Dadurch wird Position des Gerätes mit hoher Präzession aufgenommen

26 Umsetzung: Bilderkennung
Android-Anwendung mit ARCore API IOS-Anwendung mit ARKit API Referenzobjekt (hier: Bildmarker) wird hinterlegt Kamerabild wird auf dieses Referenzobjekt hin untersucht Bei Übereinstimmung: Aufnahme des Bildes und Weitergabe an nächstes Modul (Daten laden)

27 Umsetzung: Bildvergleich und Laden der Daten
Erstellung einer Webanwendung Verwendung sowohl für IOS-, als auch für Androidanwendung Webanwendung nimmt Bild von Applikation entgegen und führt Vergleich mit Datenbankbestand durch Verwendung von JavaScript Bibliothek Pixelmatch

28 Umsetzung: Augmented Reality Darstellung
Abruf der relevanten Daten, welche bei Markererkennung gespeichert wurden Position im Raum Ständige Aufnahme von Umgebung Lichteinfluss, Position im Raum, Blickwinkel Umsetzung mit ARKit bzw ARCore

29 BildQuellen [1] [2] [3] [4]

30