von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager Generierung von Omni-Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

Agenda 1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung Welche? Wodurch? Was tun? 3. Weißabgleich Wozu? Womit? Wie? Wann? 4. Aneinanderfügen 4.1 Ausrichten 4.2 Überblenden 5. Beispielserie 6. Quellen

1. Ergebnisse Entzerrung Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung –Welche? Fisheye-Algorithmus entzerrt horizontal und vertikal  Ergebnis: perspektivische Information geht verloren Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung – Was tun? Neuer Entzerrungsalgorithmus [1]  nur horizontale Verzerrung korrigieren: Perspektive bleibt erhalten Vertikale Verzerrungen leider auch Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung –Welche? Probleme, entzerrte Bilder aneinanderzufügen Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°) Durch Verzerrungen Probleme mit Kanten an Bildrändern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung –Welche? Probleme mit Kanten und Krümmungen an Bildrändern Phänomen in aufgenommenen Bildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung –Wodurch? Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch Ungenauigkeit Position/Ausrichtung der Linse Ungenauigkeit Position/Ausrichtung CCD Chip Ausrichtung des Roboter (unebener Untergrund) Angewandte Formeln können daher keine perfekten Ergebnisse liefern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

2. Probleme nach Entzerrung – Was tun? Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren  über polynomiale Gleichungssysteme möglich, aber sehr aufwendig Ausrichtung der Bilder vor Aneinanderfügen notwendig Einzelbilder ineinander Überblenden, um Überlappungen zu beheben Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild 3. Weißabgleich – Wozu? Durch unterschiedliche Beleuchtungssituationen  unterschiedliche Farbtemperatur der Bilder Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Gleiche Farbtemperaturen in beiden Teilbildern 3. Weißabgleich – Wozu? Abgleich der Farbtemperaturen notwendig: besserer visueller Eindruck kräftigere Kontraste  bessere Detektion von Kanten o.Ä. einheitlicher Bildeindruck nach Aneinanderfügen Gleiche Farbtemperaturen in beiden Teilbildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Cyan markierte Fläche für Referenzweiß 3. Weißabgleich – Womit? Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden  in allen Bildern Cyan markierte Fläche für Referenzweiß Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

3. Weißabgleich – Wie? Ermitteln der Maximalwerte je Farbkanal im Referenzbereich  liefert Rmax, Gmax, Bmax Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

3. Weißabgleich – Wie? Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A: Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen und Korrektur anwenden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Referenzfläche links im verzerrten und rechts im entzerrten Bild 3. Weißabgleich – Wann? Vor der Entzerrung  sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist Durch Entzerrung  möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird Referenzfläche links im verzerrten und rechts im entzerrten Bild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

3. Weißabgleich – Probleme? Durch Überbelichtung viele Bildbereiche bereits weiß  Korrektur bringt nichts Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild  Überblenden der Teilbilder nötig Überbelichtung irreversibel Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4. Aneinanderfügen Ziele: Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören Überblenden der Pixel mit Minimum an sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting) Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4. Wie soll Ergebnisbild aussehen? Nur einige Bilder sind zusammenzufügen Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden Wenn größeres Sichtfeld (>90 Grad) jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten Ziel: Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Trivialer Ansatz Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch: Ausrechnen Abmessen Definieren Bereich im Programm statisch festlegen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Intelligente Algorithmen Pixelbasierte Methoden Bilder relativ zueinander verschieben Größtmögliche Übereinstimmung der Pixel suchen Direkter Vergleich von Pixeln oder Pixelblöcken Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Error Metrics Durch Verschieben Platzierung der Bilder ermitteln Jede Pixelkombination miteinander vergleichen Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Error Metrics Beispiele: Robust Error Metrics Spatially Varying Weights Bias and Gain Korrelation Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Hierarchical Motion Estimation Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung: Initialwert für nächstdarunterliegendes Level Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Hierarchical Motion Estimation Vorteil: Viel schneller Nachteil Ineffektiv Signifikante Bilddetails können verloren gehen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Intelligente Algorithmen Eigenschaftenbasierte Methoden Beiden Bildern markante Eigenschaften entnehmen Vergleichen Übereinstimmungen ermitteln -> geometrische Transformation der Bilder abschätzbar Methoden Keypoint Detectors Feature Matching Geometric Registration Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.1 Ausrichten – Intelligente Algorithmen Keypoint Detectors Feature Matching Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.2 Überblenden Aufgabe Belichtungsunterschiede und Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren Übergang soll nahezu unsichtbar werden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.2 Überblenden - Lösungsansätze Laplace-Pyramiden-Überblendung sich anpassende Breite anhand Frequenz (verschiedene Level) Band-Pass Pyramide (Laplace) aus jedem Eingangsbild Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4.2 Überblenden – Vergleich Lösungsansätze Mittelwert Region of Difference Gewichtung (Feathering) Pyramiden-Überblendung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

5. Beispielserie Entzerrte Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

5. Beispielserie Weißabgleich Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

5. Beispielserie Ausrichten und Aneinanderfügen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Problem durch Aliasing 5. Beispielserie Blenden Guter Übergang Problem durch Aliasing Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

6. Quellen Weißabgleich: http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich http://de.wikibooks.org/wiki/ Digitale_bildgebende_Verfahren:_Digitale_Bilder# Wei.C3.9Fabgleich Aneinanderfügen http://research.microsoft.com/pubs/70092/tr-2004-92.pdf Quellen verfügbar unter: [1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen