Statische Stereoanalyse Daniel Stapf 09. Januar 2001 HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001

Inhalt: Geometrie eines Aufnahmesystems Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras Zusammenfassung 09. Januar 2001

Statische Stereoanalyse: Betrachtung eines Objekts aus zwei Positionen → Rückschluß auf Lage des Objekts im 3D-Raum Voraussetzung: keine Objekt- und Kamerabewegung oder zeitgleiche Aufnahme der beiden Bilder Verarbeitungsschritte: Bildaufnahme Kameramodellierung Merkmalsextraktion Korrespondenzanalyse Tiefenwertbestimmung 09. Januar 2001

Geometrie Wiederholung aus Vortrag 1: f*X f*Y X x p = (x,y) = , , da = Z Z Z f 09. Januar 2001

Geometrie Standardstereogeometrie: P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert: → plinks = prechts = f*X f*Y f*(X-b) f*Y , , Z Z Z Z 09. Januar 2001

Geometrie Standardstereogeometrie: Disparität (d): Euklidscher Abstand zwischen zwei korrespondierenden Punkten plinks(xl,yl) und prechts(xr,yr) → d = xlinks – xrechts d = (xlinks - xrechts)2 + (ylinks - yrechts)2 f*X f*(X-b) da xlinks = und xrechts = Z Z f*X f*(X-b) → Z = = (*) xlinks xrechts 09. Januar 2001

Geometrie Standardstereogeometrie: b* xlinks (Auflösen nach X) → X = xlinks - xrechts b* f (Einsetzen in (*)) → Z = xlinks - xrechts b* y Z* y → Y = (Y = ) xlinks - xrechts f → Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen. → Korrespondenzproblem 09. Januar 2001

Geometrie 1. Stereobildaufnahmesystem: 09. Januar 2001

Geometrie Koordinatensystem XLYLZL: Rotationsmatrix: cos(θ) sin(θ) 1 sin(θ) 1 -sin(θ) Translation: X-½b Y Z XL YL ZL cos(θ) sin(θ) 1 -sin(θ) X-½b Y Z = 09. Januar 2001

Geometrie Analog Koordinatensystem XRYRZR: cos(θ) -sin(θ) 1 sin(θ) X+½b Y Z = Abbildungen (xLyL) und (xRyR): f * XR cos(θ)*(X + ½b) - sin(θ)*Z xR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z f * YR Y yR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z xL und yL analog 09. Januar 2001

Geometrie Umformen der 4 Gleichungen ergibt: [-xLsin(θ) – f cos(θ)]* X + [xLcos(θ) – f sin(θ)]* Z = -[½b xLsin(θ) + ½b f] [xRsin(θ) – f cos(θ)]* X + [xRcos(θ) + f sin(θ)]* Z = -[½b xRsin(θ) - ½b f] [-yL sin(θ)]* X + [-f ]* Y + [yL cos(θ)]* Z = [½b yLsin(θ)] [yR sin(θ)]* X + [-f ]* Y + [yR cos(θ)]* Z = - [½b yRsin(θ)] In Koeffizientenschreibweise: a1 X + a3 Z = a0 b1 X + b3 Z = b0 c1 X + c2 Y + c3 Z = c0 d1 X + d2 Y + d3 Z = d0 Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen 09. Januar 2001

Geometrie Epipolare Geometrie: 09. Januar 2001

Annahmen und Einschränkungen Problem: Mehrdeutigkeiten bei der Korrespondenzsuche Lösung: Reduzierung der Mehrdeutigkeiten durch Geometrische Einschränkungen (resultieren aus der Bildentstehung) Einschränkungen durch Objekteigenschaften → keine Einschränkung an die Komplexität der Objektgeometrie 09. Januar 2001

Annahmen und Einschränkungen Geometrische Einschränkungen: 1. Epipolareinschränkung: Punkt im linken Bild, kann nur mit Punkt im rechten Bild korrespondieren, wenn jener auf Epipolarlinie liegt → Suchraum ist Eindimensional Problem: Erschütterungsproblematik, Spezialfall: Standardstereogeometrie (künstliche Objekte) Positionierungsgenauigkeit → Sicherheitsintervall 09. Januar 2001

Annahmen und Einschränkungen Geometrische Einschränkungen: 2. Eindeutigkeit der Zuordnung: Jedes Pixels eines Bildes korrespondiert nur mit genau einem Pixel des anderem Bildes Ausnahme möglich: wenn zwei Punkte auf Sichtstrahl der einen Kamera liegen, jedoch Punkte auf anderem Kamerabild getrennt sichtbar 09. Januar 2001

Annahmen und Einschränkungen Geometrische Einschränkungen: 3. Verträglichkeit von Intensitätswerten: Zwei Punkte (xL,yL) und (xR,yR) können nur dann korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| klein ist In der Praxis: Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren Problemfälle: Glanzlichter Diskretisierungsfehler 09. Januar 2001

Annahmen und Einschränkungen Geometrische Einschränkungen: 4. Geometrische Ähnlichkeit der Merkmale: Winkelkriterium: Liniensegment SL korrespondiert mit SR nur, wenn |WL – WR| klein ist Längenkriterium: |LL – LR| klein ist 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 1. Kontinuität der Disparitäten: Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw. rechten gefilterten Bild korrespondieren, können (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn | (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2| klein ist [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||xL1 – xR1| - |xL2 – xR2|| 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 2. Kontinuität entlang der Kanten: Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken bzw. rechten gefilterten Bild korrespondieren, können (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn | (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2| klein ist [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||xL1 – xR1| - |xL2 – xR2|| 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 3. Verträglichkeitsannahme von Merkmalen: Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben Beispiel Kanten: 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: Orientierungskanten Reflexionskanten Beleuchtungskanten 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 4. Disparitätslimit Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens für korrespondierende Punkte existiert ein maximaler Disparitätswert dmax: → (xL – xR)2 + (yL – yR)2 < dmax → Mindestabstand der Objekte gefordert Spezialfall Standardstereogeometrie: |xL – xR| < dmax 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit: Definition des Disparitätsgradienten (Mayhew/Frisby): Seien aR, aL und bR, bL korrespondierende Punkte Differenz der Disparitäten Disparitätsgradient = zyklopische Separation Differenz der Disparitäten = |ΔxL – ΔxR| 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: Zyklopische Separation : Definition: Abstand der Mittelpunkte zwischen den beiden Punktpaaren → ¼(ΔxL – ΔxR)2 + Δy2 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit (Fortsetzung): Formel für Disparitätsgradienten (Γd ): |ΔxL – ΔxR| Γd = ¼(ΔxL – ΔxR)2 + Δy2 Zwei benachbarte Punktpaare korrespondieren nur dann, wenn der Disparitätsgradient nicht einen Maxwert über- schreitet: → Γd < Γmax 09. Januar 2001

Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 6. Reihenfolge der abgebildeten Punkte: Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet 09. Januar 2001

Korrespondenzanalyse Intensitätsbasierte Korrespondenzanalyse: Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert → Problem: nicht ausreichend für eindeutige Zuweisung Beispiel: 640x480 Bildpunkte bei 256 Graustufen → 307200 Pixel insgesamt → min. 1200 Pixel mit gleichen Intensitätswert Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8) 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m Annahme, alle Pixel in einem Block haben gleichen Disparitätswert Verarbeitungsschritte: Unterteilung eines Bildes in feste Anzahl von Blöcken Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit) 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsmaß zweier Blöcke (mittlere quadratische Abweichung MSE) → Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion Im Fall mehrerer Minima der MSE-Funktion: → Heranziehen der Kontinuitätsannahme für Disparitäten Ergebnis: → Disparitätenmatrix 1 n-1 m-1 MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|2 nm i=0 j=0 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren: Problem dieses Verfahrens: homogene Regionen regelmäßige Texturen Beste Qualität bei n = m = 8 Bildpunkten Verfeinerung des Verfahrens nach T. Reuter: Anwendung des Medianoperator auf Disparitätenmatrix Pixelselektion Anwendung des Medianop. auf Disparitätswerte der Pixel 09. Januar 2001

Korrespondenzanalyse Pixel-Selektion: Medianop. auf Blockdisparitäten einer 3x3 Umgebung Berechnung der Disparität für jedes Pixel (x‘,y‘) unter Verwendung der Disparitätswerte der 9 Blöcke: DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9 → Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k) Medianop. Auf Disparitätswerte der Pixelselektion Bemerkung: Pixelselektion auf jeden Pixel → dichte Disparitätenkarte 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: RGB-Raum: D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2 D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2| D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2 D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 } R G B r = g = b = R + B + G R + B + G R + B + G 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: HSI-Raum: F1 = (H1,S1,I1) und F2 = (H2,S2,I2) D5(F1,F2) = (d I )2 + (d C )2 d I = |I1 – I2| und d C = S12 + S22 – 2S1S2 cos(θ) |H1 – H2| falls |H1 – H2| ≤ π 2π - |H1 – H2| falls |H1 – H2| > π θ = 09. Januar 2001

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: Analog zu „normalen“ Block-Matching: 1 n-1 m-1 MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j)) nm i=0 j=0 DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9 Bemerkungen: Qualität der Lösung ist abhängig von Anzahl der Farben Bei unbunten Farben, keine Verbesserung Einblenden von Mustern 09. Januar 2001

Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse: bsp. Anhand Orientierung/Länge von Kanten Vorteile gegenüber intensitätsbasierte Analyse: geringerer Mehrdeutigkeiten, da weniger Kandidaten Stereozuordnung ist weniger sensitiv genauere Berechnung der Disparitäten möglich 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: (Verfahren nach Y. Shirai und Y. Nishimoto 1985) LoG-Operator für Merkmalsextraktion mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i,j) definiert Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist → Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d): 1, wenn eL(i,j) eR(i+d,j) korrespondieren 0, sonst ML = MR = 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Beschränkung der Anzahl möglicher Zuordnungen durch Häufigkeitstabelle der möglichen Disparitäten (GDH): Σ MR (i,j;d) GDHR (d) = (GDHL (d) analog) Σ |eR(i,j)| → Annahme, richtige Zuordnungen treten gehäuft auf Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt: Iα = { d | GDHR (d) > a*H } 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Bestimmung lokaler Disparitätskandidaten anhand LDH‘s: LDH = Häufigkeitstabelle aller in Disparitäten innerhalb eines Fensters W = Nσ x Nσ: Nσ = 2 πσ Σ MR (i,j;d) LDHR (i,j;d) = (LDHL (d) analog) Σ |eR(i,j)| Bestimmung des besten Kanals: Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal → Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx) 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: → QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen → Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und dL ≈ dR → wahrscheinliche Disparität: d* = ½(dL + dR) Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt: für alle möglichen Disparitäten d1..dn für ein ZC wird dk ausgewählt, für das gilt: |dk - d*| < |d e – d *| " 1 £ e £ n, e ¹ k und |dk - d*| < dc 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: → jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert → nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet → Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden 09. Januar 2001

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Verwendung von Farbinformationen: analog zu Grauwertbildern Hinzunahme eines weiteren Kriteriums: Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr: Drg (x,y) = r(x,y) – g(x,y) (andere analog) → Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich δ δx (GAUSS* Drg) 09. Januar 2001

Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 1. Rechtwinklige komplanare Anordnung Vorteil: einfache Bestimmung der Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik 09. Januar 2001

Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 2. kollineare Anordnung: Vorteil: einfache Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik Mehrdeutigkeiten 09. Januar 2001

Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 3. „freie“ Anordnung Vorteil: Korrespondenzproblem kann mit Geometrie gelöst werden Nachteil: Bestimmung der Epipolarlinien 09. Januar 2001

Stereoanalyse Triokulare Stereoanalyse: Zwei verschiedene Zuordnungsstrategien: Pixel wird nur zugeordnet, wenn in allen Bildern eine Korrespondenz bestimmt wurde Pixel wird zugeordnet, wenn in mindestens zwei Bildern eine Korrespondenz bestimmt wurde 09. Januar 2001

Stereoanalyse Triokulare Stereoanalyse: Beispiel anhand eines geometrischen Verfahrens: 09. Januar 2001

Zusammenfassung Geometrie eines Aufnahmesystems Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras 09. Januar 2001

Vielen Dank für die Aufmerksamkeit – F r a g e n ? 09. Januar 2001