U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer Augmented Reality Anwendung, bei der virtuelle Objekte korrekt beleuchtet werden

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Anforderungen und Ziele  Erfassung der aktuellen Beleuchtungs- verhältnisse mit Hilfe von zwei High Dynamic Range (HDR) Videokameras  Bestimmung der 3D-Positionen der Lichtquellen durch Triangulierung (Epipolargeometrie)  Beleuchtung virtueller Objekte durch Multipass Rendering Verfahren mit Schlagschatten für jede Lichtquelle

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Aufgabenverteilung  Zerlegung in 3 Teilbereiche:  Gruppe 1 Kameraanbindung Lichtquellen erkennen  Gruppe 2 Kalibrierung 3D Rekonstruktion (Epipolargeometrie)  Gruppe 3 3D Visualisierung mit Schatten und Beleuchtung Generieren der AR-Szene

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Organisation  Regelmäßige Treffen  Wiki   Subversion

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Programm ARLight  Unterstützte Plattformen  Windows (Visual Studio)  Linux Offline (keine Kameratreiber)  Programmiersprache C++  Verwendete Toolkits/Libraries:  OpenCV, Glut  Cg, Rendertexture, Glew  ARToolkit  Glui

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Programm ARLight

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Konzept  Klassendiagramm

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Gruppe 1 Hardware und Lichtdetektion Andreas von Arb Matthias Korn Maik Stange

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Kameras

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Kameras  High Dynamic Range  12 Bit Integer logarithmisch skaliert  Lichtempfindlichkeit: 0,02 – lux  Auflösung: max 768 x 496 Pixel Stereo (512 x 496)  30 Bilder pro Sekunde (bei Vollauflösung)

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Kamera-Ansteuerung  Spezielle PCI-Framegrabberkarte  maximal 2 HDR Kameras pro Karte  Treiber für Windows  Benötigt zusätzlich Kameratreiber  wurde nicht mitgeliefert  Aber: Beispielprogramm zur Ansteuerung Erweitert, u.a. (Stereo-) Video und Einzelbild speichern Anpassung an ARLight

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Fischaugenobjektiv

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Gruppe 2 Kalibrierung und 3D-Rekonstruktion Lisa Blum Michael Kreil Kathrin-Jennifer Kunze

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Gruppe 3 3D-Visualisierung und AR Jens Anhenn Timo Wallrath Yonghui Wan

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Voraussetzungen  3D-Lichtpositionen  HDR-Farbwerte der Lichtquellen  Ambienter Term Aufgabenstellung: Darstellung der Szene inklusive korrekt beleuchteter virtueller Geometrie und Schatten

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Features der Engine  VRML-Loader  Beleuchtung virtueller Objekte per N Lichtquellen  Shadow Volumes  Einbindung Webcam-Bild

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Verwendete Technik  OpenGL  Cg  RenderTexture  ARToolkit

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Display-Durchlauf  grabben des Webcam-Bildes RenderTexture0

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Display-Durchlauf Schleife über alle Lichter  setzen von Modelview- und Projectionmatrix  Projektionsebene für Schatten in z-Buffer  setzen der Shader-Parameter (Lichtposition, HDR-Farbwerte, Ambienter Term)

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Display-Durchlauf Schleife über alle Lichter  zeichne virtuelles Objekt RenderTexture0

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Display-Durchlauf Schleife über alle Lichter  zeichne Schatten RenderTexture0

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Schleife über alle Lichter Display-Durchlauf RenderTexture0 + RenderTexture1

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Schleife über alle Lichter Display-Durchlauf + RenderTexture0 RenderTexture1

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Display-Durchlauf  Tone Mapping RenderTexture1 Bildschirm: Tonemapping Shader

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Augmented Reality

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Realität

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Ausblick  Verbesserungsmöglichkeiten  Quelltextqualität  Sampling-Verfahren  Erweiterte Farbkalibrierung  Flächenlichtquellen ……  Studienarbeit  Diplomarbeit

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Danksagung Prof. Dr. Stefan Müller Thorsten Grosch Rodja Trappe Jacques

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai / 35 Projektpraktikum AR mit korrekter Beleuchtung Danke für Ihre Aufmerksamkeit Präsentation anschließend im CG-Labor (B 014)