U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 1 / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer.

Präsentation zum Thema: "U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 1 / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer."—  Präsentation transkript:

1 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 1 / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer Augmented Reality Anwendung, bei der virtuelle Objekte korrekt beleuchtet werden

2 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 2 / 35 Anforderungen und Ziele  Erfassung der aktuellen Beleuchtungs- verhältnisse mit Hilfe von zwei High Dynamic Range (HDR) Videokameras  Bestimmung der 3D-Positionen der Lichtquellen durch Triangulierung (Epipolargeometrie)  Beleuchtung virtueller Objekte durch Multipass Rendering Verfahren mit Schlagschatten für jede Lichtquelle

3 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 3 / 35 Aufgabenverteilung  Zerlegung in 3 Teilbereiche:  Gruppe 1 Kameraanbindung Lichtquellen erkennen  Gruppe 2 Kalibrierung 3D Rekonstruktion (Epipolargeometrie)  Gruppe 3 3D Visualisierung mit Schatten und Beleuchtung Generieren der AR-Szene

4 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 4 / 35 Organisation  Regelmäßige Treffen  Wiki  http://geri.uni-koblenz.de/Projektpraktika/ARLight/  Subversion

5 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 5 / 35 Programm ARLight  Unterstützte Plattformen  Windows (Visual Studio)  Linux Offline (keine Kameratreiber)  Programmiersprache C++  Verwendete Toolkits/Libraries:  OpenCV, Glut  Cg, Rendertexture, Glew  ARToolkit  Glui

6 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 6 / 35 Programm ARLight

7 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 7 / 35 Konzept  Klassendiagramm

8 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 8 / 35 Gruppe 1 Hardware und Lichtdetektion Andreas von Arb Matthias Korn Maik Stange

9 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 9 / 35 Kameras

10 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 10 / 35 Kameras  High Dynamic Range  12 Bit Integer logarithmisch skaliert  Lichtempfindlichkeit: 0,02 – 1 000 000 lux  Auflösung: max 768 x 496 Pixel Stereo (512 x 496)  30 Bilder pro Sekunde (bei Vollauflösung)

11 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 11 / 35 Kamera-Ansteuerung  Spezielle PCI-Framegrabberkarte  maximal 2 HDR Kameras pro Karte  Treiber für Windows  Benötigt zusätzlich Kameratreiber  wurde nicht mitgeliefert  Aber: Beispielprogramm zur Ansteuerung Erweitert, u.a. (Stereo-) Video und Einzelbild speichern Anpassung an ARLight

12 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 12 / 35 Fischaugenobjektiv

13 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 13 / 35 Gruppe 2 Kalibrierung und 3D-Rekonstruktion Lisa Blum Michael Kreil Kathrin-Jennifer Kunze

14 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 14 / 35 Gruppe 3 3D-Visualisierung und AR Jens Anhenn Timo Wallrath Yonghui Wan

15 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 15 / 35 Voraussetzungen  3D-Lichtpositionen  HDR-Farbwerte der Lichtquellen  Ambienter Term Aufgabenstellung: Darstellung der Szene inklusive korrekt beleuchteter virtueller Geometrie und Schatten

16 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 16 / 35 Features der Engine  VRML-Loader  Beleuchtung virtueller Objekte per N Lichtquellen  Shadow Volumes  Einbindung Webcam-Bild

17 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 17 / 35 Verwendete Technik  OpenGL  Cg  RenderTexture  ARToolkit

18 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 18 / 35 Display-Durchlauf  grabben des Webcam-Bildes RenderTexture0

19 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 19 / 35 Display-Durchlauf Schleife über alle Lichter  setzen von Modelview- und Projectionmatrix  Projektionsebene für Schatten in z-Buffer  setzen der Shader-Parameter (Lichtposition, HDR-Farbwerte, Ambienter Term)

20 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 20 / 35 Display-Durchlauf Schleife über alle Lichter  zeichne virtuelles Objekt RenderTexture0

21 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 21 / 35 Display-Durchlauf Schleife über alle Lichter  zeichne Schatten RenderTexture0

22 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 22 / 35 Schleife über alle Lichter Display-Durchlauf RenderTexture0 + RenderTexture1

23 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 23 / 35 Schleife über alle Lichter Display-Durchlauf + RenderTexture0 RenderTexture1

24 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 24 / 35 Display-Durchlauf  Tone Mapping RenderTexture1 Bildschirm: Tonemapping Shader

25 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 25 / 35 Augmented Reality

26 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 26 / 35 Realität

27 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 27 / 35 Ausblick  Verbesserungsmöglichkeiten  Quelltextqualität  Sampling-Verfahren  Erweiterte Farbkalibrierung  Flächenlichtquellen ……  Studienarbeit  Diplomarbeit

28 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 28 / 35 Danksagung Prof. Dr. Stefan Müller Thorsten Grosch Rodja Trappe Jacques

29 U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 29 / 35 Projektpraktikum AR mit korrekter Beleuchtung Danke für Ihre Aufmerksamkeit Präsentation anschließend im CG-Labor (B 014)