Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

CG Praktikum Augmented Reality mit korrekter Beleuchtung Thorsten Grosch.

Ähnliche Präsentationen


Präsentation zum Thema: "CG Praktikum Augmented Reality mit korrekter Beleuchtung Thorsten Grosch."—  Präsentation transkript:

1 CG Praktikum Augmented Reality mit korrekter Beleuchtung Thorsten Grosch

2 Aufbau Konzept 1 2 Fish-Eye 2 HDR Kameras mit Weitwinkelobjektiv nehmen Bild von oberer Hemisphäre auf

3 1. Konvertierung Lochkamera 1 2 Die Bilder der Kameras werden ins Lochkameramodell konvertiert

4 2. Auswahl Punktlichtquellen 1 2 Aus dem HDR Bild der ersten Kamera werden einige, helle Lichtquellen rekonstruiert

5 3. Triangulierung 1 2 Die extrahierten Lichtquellen werden im zweiten Kamerabild gesucht, wodurch die 3D Position bestimmt werden kann.

6 4. Beleuchtung 1 2 virtuell Virtuelle Objekte werden mit den rekonstruierten Punktlichtquellen beleuchtet

7 5. Darstellung 1 2 Betrachter virtuell abmessen Tracking Für die Darstellung wird ins Koordinatensystem der Betrachterkamera umgerechnet

8 Teilaufgabe 1 Entzerrung der Fischaugenbilder –Konvertierung in perspektivisches Bild (Lochkameramodell) HDR Kameras und Linsen kommen erst in den nächsten Wochen Nicht Teil des Praktikums, wird vorgegeben

9 Teilaufgabe 2 Auswahl von N Lichtquellen (benutzerdef.) –Einfacher Ansatz: Wähle die N hellsten Pixel –Restliche Pixel: ambienter Term –Verbesserungen Importance Sampling (siehe PCG Vorlesung) Ausnutzung zeitlicher Kohärenz (Flackern durch stark variierende Lichtpositionen vermeiden) Unterlagen –Sampling aus PCG Vorlesung –Sampling von HDR Environment Maps –Eigenes Verfahren überlegen

10 Teilaufgabe 3 Suche korrespondierende Lichtquellen –Orientierung der beiden HDR Kameras bekannt –Suche auf Epipolarline, suche ähnliches Pixel –Bestimme 3D Position durch Triangulierung Unterlagen –Hartley/Zisserman: Multiple View Geometry for Computer Vision –Paulus Skript: Struktur aus Bewegung –OpenCV:

11 Teilaufgabe 4 Beleuchtung der virtuellen Geometrie mit den rekonstruierten Lichtquellen –Einfacher Ansatz : Verwende 8 OpenGL Lichtquellen –Lichtquellen enthalten HDR Werte > 1 Eigene Vertex/Fragment Programme zur Beleuchtung Die M hellsten Lichtquellen werfen Schatten (Benutzerparameter, M < N) Die Überlagerung der Schlagschatten ergibt weichen Schatten Unterlagen –Cg, Hardware Schatten: Vorlesung CG2 –RenderTexture: –Cg:

12 Teilaufgabe 5 Tracking –Umrechnung in Kamerakoordinaten des Betrachters Wird voraussichtlich aus letztem Praktikum übernommen (Tilmann Jaeschke) Umrechnung der Farbräume (HDR Kamera -> LDR Betrachterkamera)

13 Gruppenaufteilung Auswahl (Sampling) der Lichtquellen (4) Bestimmung der 3D Position der Lichtquellen (4) Darstellung mit Multipass-Rendering (4)

14 Erster Prototyp Nur eine HDR Kamera Auswahl der 8 hellsten Pixel Abschätzen der Richtung Beleuchtung mit 8 gerichteten OpenGL Lichtquellen Einfache Darstellung auf einem Monitor

15 Endversion Zwei HDR Kameras Entzerrung der Fischaugenbilder Auswahl von N Pixeln in einem Kamerabild Suchen der korrespondierenden Punkte im zweiten Kamerabild und Bestimmung der 3D Position Beleuchtung mit N Lichtquellen, für M Lichtquellen Schatten mit korrekter Helligkeit Tracking, Transformation in Betrachterkamera, Umrechnung der Farbräume, Darstellung in Betrachterkamera (Webcam oder HMD) Alles in Echtzeit…

16 Allgemeines / Zeitplan Dauer: – Ende Oktober: Vorträge, Konzept (wann ?) –Danach : Implementierung Prototyp –Programmiersprache: C++, OpenGL, OpenCV –Betriebssystem ? 1. lauffähige Version: 15. Dezember Ende März: Endversion Treffen alle 1-2 Wochen (Mo 16:00 G210) Einfache Programmierübung –Grundkonzepte C++, Compiler einrichten –Ausgabe in den nächsten Wochen, Abgabe Anfang-Mitte Oktober

17 Vorträge Sampling Lichtquellen –Importance Sampling –Sampling von HDR Environment Maps –Zeitliche Kohärenz ausnutzen, evtl. eigenes Verfahren Lichtquellen Positionen –Epipolargeometrie, Fundamental Matrix (F), Bestimmung von F (8 Punkte, SVD) –Triangulierung (3D Position bestimmen) –OpenCV Beleuchtung –Vertex / Fragment Programs, Cg –Multipass Rendering, Hardware Schatten überlagern –RenderTexture Library (PBuffer) Pro Vortrag: Klassendiagramm, Schnittstellen

18 Priorisierung 12 Teilnehmer Gruppe 1 : In nächsten 2 Semestern fertig Gruppe 2 : abgeschlossenes Vordiplom Gruppe 3 : Rest


Herunterladen ppt "CG Praktikum Augmented Reality mit korrekter Beleuchtung Thorsten Grosch."

Ähnliche Präsentationen


Google-Anzeigen