Augmented Reality mit korrekter Beleuchtung Thorsten Grosch

Präsentation zum Thema: "Augmented Reality mit korrekter Beleuchtung Thorsten Grosch"—  Präsentation transkript:

1 Augmented Reality mit korrekter Beleuchtung Thorsten Grosch
CG Praktikum Augmented Reality mit korrekter Beleuchtung Thorsten Grosch

2 Aufbau Konzept 2 1 Fish-Eye Fish-Eye
2 HDR Kameras mit Weitwinkelobjektiv nehmen Bild von oberer Hemisphäre auf

3 1. Konvertierung Lochkamera
2 Die Bilder der Kameras werden ins Lochkameramodell konvertiert

4 2. Auswahl Punktlichtquellen
1 2 Aus dem HDR Bild der ersten Kamera werden einige, helle Lichtquellen rekonstruiert

5 3. Triangulierung 1 2 Die extrahierten Lichtquellen werden im zweiten Kamerabild gesucht, wodurch die 3D Position bestimmt werden kann.

6 4. Beleuchtung virtuell 1 2 Virtuelle Objekte werden mit den rekonstruierten Punktlichtquellen beleuchtet

7 5. Darstellung Betrachter virtuell 2 1 Tracking
Für die Darstellung wird ins Koordinatensystem der Betrachterkamera umgerechnet abmessen

8 Teilaufgabe 1 Entzerrung der Fischaugenbilder
Konvertierung in perspektivisches Bild (Lochkameramodell) HDR Kameras und Linsen kommen erst in den nächsten Wochen Nicht Teil des Praktikums, wird vorgegeben

9 Teilaufgabe 2 Auswahl von N Lichtquellen (benutzerdef.) Unterlagen
Einfacher Ansatz: Wähle die N hellsten Pixel Restliche Pixel: ambienter Term Verbesserungen Importance Sampling (siehe PCG Vorlesung) Ausnutzung zeitlicher Kohärenz (Flackern durch stark variierende Lichtpositionen vermeiden) Unterlagen Sampling aus PCG Vorlesung Sampling von HDR Environment Maps Eigenes Verfahren überlegen

10 Teilaufgabe 3 Suche korrespondierende Lichtquellen Unterlagen
Orientierung der beiden HDR Kameras bekannt Suche auf Epipolarline, suche ähnliches Pixel Bestimme 3D Position durch Triangulierung Unterlagen Hartley/Zisserman: Multiple View Geometry for Computer Vision Paulus Skript: Struktur aus Bewegung OpenCV:

11 Teilaufgabe 4 Beleuchtung der virtuellen Geometrie mit den rekonstruierten Lichtquellen Einfacher Ansatz : Verwende 8 OpenGL Lichtquellen Lichtquellen enthalten HDR Werte > 1 Eigene Vertex/Fragment Programme zur Beleuchtung Die M hellsten Lichtquellen werfen Schatten (Benutzerparameter, M < N) Die Überlagerung der Schlagschatten ergibt weichen Schatten Unterlagen Cg, Hardware Schatten: Vorlesung CG2 RenderTexture: Cg:

12 Teilaufgabe 5 Tracking Umrechnung in Kamerakoordinaten des Betrachters Wird voraussichtlich aus letztem Praktikum übernommen (Tilmann Jaeschke) Umrechnung der Farbräume (HDR Kamera -> LDR Betrachterkamera)

13 Gruppenaufteilung Auswahl (Sampling) der Lichtquellen (4)
Bestimmung der 3D Position der Lichtquellen (4) Darstellung mit Multipass-Rendering (4)

14 Erster Prototyp Nur eine HDR Kamera Auswahl der 8 hellsten Pixel
Abschätzen der Richtung Beleuchtung mit 8 gerichteten OpenGL Lichtquellen Einfache Darstellung auf einem Monitor

15 Endversion Zwei HDR Kameras Entzerrung der Fischaugenbilder
Auswahl von N Pixeln in einem Kamerabild Suchen der korrespondierenden Punkte im zweiten Kamerabild und Bestimmung der 3D Position Beleuchtung mit N Lichtquellen, für M Lichtquellen Schatten mit korrekter Helligkeit Tracking, Transformation in Betrachterkamera, Umrechnung der Farbräume, Darstellung in Betrachterkamera (Webcam oder HMD) Alles in Echtzeit…

16 Allgemeines / Zeitplan
Dauer: – Ende Oktober: Vorträge, Konzept (wann ?) Danach : Implementierung Prototyp Programmiersprache: C++, OpenGL, OpenCV Betriebssystem ? 1. lauffähige Version: 15. Dezember Ende März: Endversion Treffen alle 1-2 Wochen (Mo 16:00 G210) Einfache Programmierübung Grundkonzepte C++, Compiler einrichten Ausgabe in den nächsten Wochen, Abgabe Anfang-Mitte Oktober

17 Vorträge Sampling Lichtquellen Lichtquellen Positionen Beleuchtung
Importance Sampling Sampling von HDR Environment Maps Zeitliche Kohärenz ausnutzen, evtl. eigenes Verfahren Lichtquellen Positionen Epipolargeometrie, Fundamental Matrix (F), Bestimmung von F (8 Punkte, SVD) Triangulierung (3D Position bestimmen) OpenCV Beleuchtung Vertex / Fragment Programs , Cg Multipass Rendering, Hardware Schatten überlagern RenderTexture Library (PBuffer) Pro Vortrag: Klassendiagramm, Schnittstellen

18 Priorisierung 12 Teilnehmer Gruppe 1 : In nächsten 2 Semestern fertig
Gruppe 2 : abgeschlossenes Vordiplom Gruppe 3 : Rest