Hauptseminar Computer Vision

Präsentation zum Thema: "Hauptseminar Computer Vision"—  Präsentation transkript:

1 Hauptseminar Computer Vision
Kapitel 9: Strukturierte Beleuchtung Markus Huppmann, Jens Schoneboom

2 Markus Huppmann, Jens Schoneboom
Einleitung Motivation: 3D-Wiedergabe von Objekten Strukturierte Beleuchtung: Projektion eines Lichtmusters Aufnahme des reflektierten Musters per Kamera Auswertung der Aufnahmen Zwei Arten der 3D-Objekterfassung Projektion einfacher geometrischer Muster Projektion codierter Muster Markus Huppmann, Jens Schoneboom

3 Markus Huppmann, Jens Schoneboom
Inhalt Projektion einfacher geometrischer Muster Lichtpunkttechnik Lichtpunktstereoanalyse Lichtschnitttechnik Gleichzeitige Projektion mehrerer Lichtschnitte Projektion codierter Muster Binärcodierte Lichtschnitttechnik Auswertung von Moiré-Mustern Farbcodierte Lichtschnitttechnik Aktive Stereoanalyse mit Farbe Markus Huppmann, Jens Schoneboom

4 Projektion einfacher geometrischer Muster
Markus Huppmann, Jens Schoneboom

5 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik einfache Methode zur Entfernungsmessung Szene wird mit einem Lichtpunkt bestrahlt Empfänger nimmt Punkt auf Messung der Entfernung mittels Triangulation Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

6 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

7 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik bisher: Zweidimensional Allgemeiner Fall: Dritte Dimension kommt hinzu Wieder wird ein kamerazentriertes Koordinatensystem angenommen Ursprung des XYZ-Systems ist der Brennpunkt des Empfängersbisher: Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

8 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

9 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Einfache Berechnung Billiger Aufbau Probleme: Ausrichtung der optischen Achse der Kamera Ganzzahligkeit der Koordinaten Bestimmung von  und  Beschränkung auf unvollständige Entfernungskarten Einsatzbereich: 2D-Abstandsmessung Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

10 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

11 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

12 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

13 Markus Huppmann, Jens Schoneboom
Lichtpunkttechnik Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

14 Lichtpunktstereoanalyse
Kombination von Lichtpunkttechnik und statischer Stereoanalyse Projektion einfacher geometrischer Muster Ganzzahligkeit: Rundungsfehler Markus Huppmann, Jens Schoneboom

15 Lichtpunktstereoanalyse
Vorteile: Wesentlich vereinfachte Korrespondenzsuche Keine aufwendige Kalibrierung der Laserablenkeinheit Geringe Ansprüche an die Präzision Nachteile Große Anzahl zu verarbeitender Bilder Längere Rechenzeiten Einsatzbereich: 3D-Abstandsmessung Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

16 Markus Huppmann, Jens Schoneboom
Lichtschnitttechnik Erweiterung der Lichtpunkttechnik Projektion einer Lichtebene auf die zu betrachtenden Objekte Verwendung von Laserlicht und Diaprojektoren möglich Schnitt der Lichtebene als Lichtstreifen im Kamerabild sichtbar Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

17 Markus Huppmann, Jens Schoneboom
Lichtschnitttechnik Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

18 Markus Huppmann, Jens Schoneboom
Lichtschnitttechnik Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

19 Markus Huppmann, Jens Schoneboom
Lichtschnitttechnik Vorteile der Lichtschnitttechnik: Einfache Technik zur Bestimmung der Abstandswerte Weniger Bilder nötig Probleme: Fehler in der Kalibrierung möglich Einsatzbereich: Intensitätsbilder, Höhenkarten Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

20 Gleichzeitige Projektion mehrerer Lichtschnitte
Projektion mehrerer Lichtebenen gleichzeitig Ähnlich der Lichtschnitttechnik Aber: Lichtstreifen nicht mehr senkrecht zur Basislinie Projektion einfacher geometrischer Muster Markus Huppmann, Jens Schoneboom

21 Projektion codierter Muster
Markus Huppmann, Jens Schoneboom

22 Projektion codierter Muster
Bei Lichtpunkt bzw. Lichtstreifentechnik muss für eine Oberflächengeometrie eine große Anzahl von Aufnahmen generiert werden Problem der Eindeutigkeit bei der Zuordnung der durch Lichtbilder erhaltenen Bilder  Codierung der Muster durch Binärcodierung Moiré-Mustern Farbcodierung Projektion codierter Muster Markus Huppmann, Jens Schoneboom

23 Binärcodierte Lichtschnitttechnik
Projektion mehrerer unterschiedlicher Lichtebenen Verschiedene binärcodierte Lichtmuster werden für die Unterscheidung der einzelnen Lichtebenen verwendet Erzeugung einer Tabelle, die für jeden Bildpunkt auf jedem Bild die jeweilige Helligkeit wiedergibt Projektion codierter Muster Markus Huppmann, Jens Schoneboom

24 Binärcodierte Lichtschnitttechnik
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

25 Binärcodierte Lichtschnitttechnik
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

26 Binärcodierte Lichtschnitttechnik
Gray-Code Binärcode, in dem sich benachbarte Zeichen nur um 1 Bit unterscheiden Projektion codierter Muster Markus Huppmann, Jens Schoneboom

27 Binärcodierte Lichtschnitttechnik
Zusammenfassung der erhaltenen Binärbilder im Bildspeicher n Streifenmuster  2n Lichtebenen darstellbar Jedes Pixel erhält n-stellige Bitfolge zugeordnet Berechnung der 3D-Koordinaten mittels Triangulation Binärcodierte Lichtschnitttechnik ist Erweiterung der „gewöhnlichen“ Lichtschnitttechnik Projektion codierter Muster Markus Huppmann, Jens Schoneboom

28 Binärcodierte Lichtschnitttechnik
Vorteile: Weniger Aufnahmen gegenüber „gewöhnlicher“ Lichtschnitttechnik relative Unabhängigkeit gegenüber Umgebungsbeleuchtung Verschattete Bereiche können erkannt werden Nachteil: rechenaufwendiger keine Farboberflächen Projektion codierter Muster Markus Huppmann, Jens Schoneboom

29 Auswertung von Moiré-Mustern
Projektion zweier periodischer Gittermuster mit unterschiedlicher Periodenlänge  streifenförmiges Muster auf dem Objekt („Moiré-Muster“) Jeder Streifen repräsentiert eine Ebene konstanter Tiefe  aus diesen topographischen Konturen kann somit ein Rückschluss über die Tiefe gewonnen werden Projektion codierter Muster Markus Huppmann, Jens Schoneboom

30 Auswertung von Moiré-Mustern
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

31 Auswertung von Moiré-Mustern
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

32 Auswertung von Moiré-Mustern
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

33 Auswertung von Moiré-Mustern
Gesucht: Höhendifferenz z zweier Punkte Gegeben: Winkel , (Winkel der Gitter zum Projektor bzw. zur Kamera) [messbar] N (Anzahl der Streifen zwischen den Punkten) [zählbar] Periode d der sinusförmigen Gitter [gegeben]  Formel: z = N*d / (tan () + tan ())  Abstand von 2 beliebigen Punkten berechenbar  Referenzebene nötig Projektion codierter Muster Markus Huppmann, Jens Schoneboom

34 Auswertung von Moiré-Mustern
Vergleich zur konventionellen Lichtschnitttechnik: 1280 Projektionslinien  Lichtschnittverfahren braucht 1280 Aufnahmen Bei 25 Bilder pro Sekunde  ca. 50 Sekunden zur Aufnahme nötig (1280 / 25 = 51,2) Bei Verwendung von Moiré-Verfahren nur 15 Aufnahmen nötig  Reduzierung des Datenvolumens bzw. Beschleunigung der Bildaufnahme um den Faktor 85 (1280 / 15 = 85) Projektion codierter Muster Markus Huppmann, Jens Schoneboom

35 Auswertung von Moiré-Mustern
Vorteile: Hohe Messgenauigkeit Hohe Messgeschwindigkeit Geringe Datenmenge Nachteile: Nur relative keine absoluten Tiefenwerte bestimmbar  kalibrierte Referenzebene nötig keine „echtzeitfähige“ Vermessung Projektion codierter Muster Markus Huppmann, Jens Schoneboom

36 Farbcodierte Lichtschnitttechnik
Ähnliches Vorgehen wie bei der Binärcodierung aber Codierung mit Farben (z .B. RGB-Farben + Weiß) Andere Verfahren benötigen die sequentielle Aufnahme mehrerer Bilder Farbcodierte Lichtschnitttechnik ermöglicht die Bestimmung einer 3D-Geometrie aus einer einzigen Aufnahme Mehr Zustände unterscheidbar als mit Binärcodierung Projektion codierter Muster Markus Huppmann, Jens Schoneboom

37 Farbcodierte Lichtschnitttechnik
Schematische Darstellung der Farb-Intensitäten Farbcode Projektion codierter Muster Markus Huppmann, Jens Schoneboom

38 Farbcodierte Lichtschnitttechnik
In der Praxis verwendbare Farbcodes: L = Gesamtzahl der verwendeten Farben K = Anzahl der Farbstreifen M0 = Anzahl möglicher Codierungen  M0 (K, L) = L * (L – 1)K-1 Beispiel: 4 Farben (Rot, Grün, Blau, Weiß) 6 Streifen pro Muster  M0 (K, L) = 972 Bei Binärcodierung wäre ein 10-stelliger Code (= 10 Streifen) nötig, weil 210 = 1024. Projektion codierter Muster Markus Huppmann, Jens Schoneboom

39 Farbcodierte Lichtschnitttechnik
Vorteil Nur eine einzige Aufnahme notwendig  auch sich bewegende oder nicht formfeste Objekte betrachtbar Nachteil: Nur unbunte Objekte verwendbar oder Problem der Mischfarben Schwierige Indizierung der Lichtstreifen (rechenaufwendig) Projektion codierter Muster Markus Huppmann, Jens Schoneboom

40 Aktive Stereoanalyse mit Farbe
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

41 Aktive Stereoanalyse mit Farbe
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

42 Aktive Stereoanalyse mit Farbe
Projektion codierter Muster Ohne Farbcode berechnete Disparitätenkarte Mit Farbcode berechnete Disparitätenkarte Markus Huppmann, Jens Schoneboom

43 Aktive Stereoanalyse mit Farbe
Projektion codierter Muster Markus Huppmann, Jens Schoneboom

44 Aktive Stereoanalyse mit Farbe
Vorteile: Keine Kenntnis des projizierten Farbcodes notwendig Ein einziges Bildpaar notwendig Nachteil: Geringe Tiefenauflösung Rechenaufwendig Projektion codierter Muster Markus Huppmann, Jens Schoneboom

45 Markus Huppmann, Jens Schoneboom
Zusammenfassung Stereoverfahren (= Zwei Kameras): geringe Tiefenauflösung aber z. B. genauere Kanten weniger Bilder notwendig teurer Zusammenfassung Markus Huppmann, Jens Schoneboom

46 Markus Huppmann, Jens Schoneboom
Zusammenfassung eine Kamera: „Schwammigere Kanten“ mehr Bilder notwendig dafür weniger Rechenaufwand pro Bild billiger Zusammenfassung Markus Huppmann, Jens Schoneboom

47 Markus Huppmann, Jens Schoneboom
Fragen ??? Markus Huppmann, Jens Schoneboom