von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

Präsentation zum Thema: "von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager"—  Präsentation transkript:

1 von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager
Generierung von Omni-Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

2 Agenda 1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung
Welche? Wodurch? Was tun? 3. Weißabgleich Wozu? Womit? Wie? Wann? 4. Aneinanderfügen 4.1 Ausrichten 4.2 Überblenden 5. Beispielserie 6. Quellen

3 1. Ergebnisse Entzerrung
Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4 2. Probleme nach Entzerrung –Welche?
Fisheye-Algorithmus entzerrt horizontal und vertikal  Ergebnis: perspektivische Information geht verloren Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

5 2. Probleme nach Entzerrung – Was tun?
Neuer Entzerrungsalgorithmus [1]  nur horizontale Verzerrung korrigieren: Perspektive bleibt erhalten Vertikale Verzerrungen leider auch Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

6 2. Probleme nach Entzerrung –Welche?
Probleme, entzerrte Bilder aneinanderzufügen Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°) Durch Verzerrungen Probleme mit Kanten an Bildrändern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

7 2. Probleme nach Entzerrung –Welche?
Probleme mit Kanten und Krümmungen an Bildrändern Phänomen in aufgenommenen Bildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

8 2. Probleme nach Entzerrung –Wodurch?
Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch Ungenauigkeit Position/Ausrichtung der Linse Ungenauigkeit Position/Ausrichtung CCD Chip Ausrichtung des Roboter (unebener Untergrund) Angewandte Formeln können daher keine perfekten Ergebnisse liefern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

9 2. Probleme nach Entzerrung – Was tun?
Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren  über polynomiale Gleichungssysteme möglich, aber sehr aufwendig Ausrichtung der Bilder vor Aneinanderfügen notwendig Einzelbilder ineinander Überblenden, um Überlappungen zu beheben Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

10 Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild
3. Weißabgleich – Wozu? Durch unterschiedliche Beleuchtungssituationen  unterschiedliche Farbtemperatur der Bilder Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

11 Gleiche Farbtemperaturen in beiden Teilbildern
3. Weißabgleich – Wozu? Abgleich der Farbtemperaturen notwendig: besserer visueller Eindruck kräftigere Kontraste  bessere Detektion von Kanten o.Ä. einheitlicher Bildeindruck nach Aneinanderfügen Gleiche Farbtemperaturen in beiden Teilbildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

12 Cyan markierte Fläche für Referenzweiß
3. Weißabgleich – Womit? Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden  in allen Bildern Cyan markierte Fläche für Referenzweiß Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

13 3. Weißabgleich – Wie? Ermitteln der Maximalwerte je Farbkanal im Referenzbereich  liefert Rmax, Gmax, Bmax Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

14 3. Weißabgleich – Wie? Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A: Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen und Korrektur anwenden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

15 Referenzfläche links im verzerrten und rechts im entzerrten Bild
3. Weißabgleich – Wann? Vor der Entzerrung  sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist Durch Entzerrung  möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird Referenzfläche links im verzerrten und rechts im entzerrten Bild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

16 3. Weißabgleich – Probleme?
Durch Überbelichtung viele Bildbereiche bereits weiß  Korrektur bringt nichts Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild  Überblenden der Teilbilder nötig Überbelichtung irreversibel Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

17 4. Aneinanderfügen Ziele:
Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören Überblenden der Pixel mit Minimum an sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting) Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

18 4. Wie soll Ergebnisbild aussehen?
Nur einige Bilder sind zusammenzufügen Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden Wenn größeres Sichtfeld (>90 Grad) jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

19 4.1 Ausrichten Ziel: Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

20 4.1 Ausrichten – Trivialer Ansatz
Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch: Ausrechnen Abmessen Definieren Bereich im Programm statisch festlegen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

21 4.1 Ausrichten – Intelligente Algorithmen
Pixelbasierte Methoden Bilder relativ zueinander verschieben Größtmögliche Übereinstimmung der Pixel suchen Direkter Vergleich von Pixeln oder Pixelblöcken Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

22 4.1 Ausrichten – Error Metrics
Durch Verschieben Platzierung der Bilder ermitteln Jede Pixelkombination miteinander vergleichen Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

23 4.1 Ausrichten – Error Metrics
Beispiele: Robust Error Metrics Spatially Varying Weights Bias and Gain Korrelation Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

24 4.1 Ausrichten – Hierarchical Motion Estimation
Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung: Initialwert für nächstdarunterliegendes Level Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

25 4.1 Ausrichten – Hierarchical Motion Estimation
Vorteil: Viel schneller Nachteil Ineffektiv Signifikante Bilddetails können verloren gehen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

26 4.1 Ausrichten – Intelligente Algorithmen
Eigenschaftenbasierte Methoden Beiden Bildern markante Eigenschaften entnehmen Vergleichen Übereinstimmungen ermitteln -> geometrische Transformation der Bilder abschätzbar Methoden Keypoint Detectors Feature Matching Geometric Registration Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

27 4.1 Ausrichten – Intelligente Algorithmen
Keypoint Detectors Feature Matching Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

28 4.2 Überblenden Aufgabe Belichtungsunterschiede und Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren Übergang soll nahezu unsichtbar werden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

29 4.2 Überblenden - Lösungsansätze
Laplace-Pyramiden-Überblendung sich anpassende Breite anhand Frequenz (verschiedene Level) Band-Pass Pyramide (Laplace) aus jedem Eingangsbild Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

30 4.2 Überblenden – Vergleich Lösungsansätze
Mittelwert Region of Difference Gewichtung (Feathering) Pyramiden-Überblendung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

31 5. Beispielserie Entzerrte Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

32 5. Beispielserie Weißabgleich Einzelbilder
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

33 5. Beispielserie Ausrichten und Aneinanderfügen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

34 Problem durch Aliasing
5. Beispielserie Blenden Guter Übergang Problem durch Aliasing Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

35 6. Quellen Weißabgleich:
Digitale_bildgebende_Verfahren:_Digitale_Bilder# Wei.C3.9Fabgleich Aneinanderfügen Quellen verfügbar unter: [1] fisheye-images.pdf Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen