Statische Stereoanalyse Daniel Stapf 09. Januar 2001

Präsentation zum Thema: "Statische Stereoanalyse Daniel Stapf 09. Januar 2001"—  Präsentation transkript:

1 Statische Stereoanalyse Daniel Stapf 09. Januar 2001
HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001

2 Inhalt: Geometrie eines Aufnahmesystems Annahmen und Einschränkungen
Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras Zusammenfassung 09. Januar 2001

3 Statische Stereoanalyse:
Betrachtung eines Objekts aus zwei Positionen → Rückschluß auf Lage des Objekts im 3D-Raum Voraussetzung: keine Objekt- und Kamerabewegung oder zeitgleiche Aufnahme der beiden Bilder Verarbeitungsschritte: Bildaufnahme Kameramodellierung Merkmalsextraktion Korrespondenzanalyse Tiefenwertbestimmung 09. Januar 2001

4 Geometrie Wiederholung aus Vortrag 1: f*X f*Y X x p = (x,y) = , , da =
Z Z Z f 09. Januar 2001

5 Geometrie Standardstereogeometrie:
P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert: → plinks = prechts = f*X f*Y f*(X-b) f*Y , , Z Z Z Z 09. Januar 2001

6 Geometrie Standardstereogeometrie: Disparität (d):
Euklidscher Abstand zwischen zwei korrespondierenden Punkten plinks(xl,yl) und prechts(xr,yr) → d = xlinks – xrechts d = (xlinks - xrechts)2 + (ylinks - yrechts)2 f*X f*(X-b) da xlinks = und xrechts = Z Z f*X f*(X-b) → Z = = (*) xlinks xrechts 09. Januar 2001

7 Geometrie Standardstereogeometrie: b* xlinks (Auflösen nach X) → X =
xlinks - xrechts b* f (Einsetzen in (*)) → Z = xlinks - xrechts b* y Z* y → Y = (Y = ) xlinks - xrechts f → Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen. → Korrespondenzproblem 09. Januar 2001

8 Geometrie 1. Stereobildaufnahmesystem: 09. Januar 2001

9 Geometrie Koordinatensystem XLYLZL: Rotationsmatrix: cos(θ) sin(θ) 1
sin(θ) 1 -sin(θ) Translation: X-½b Y Z XL YL ZL cos(θ) sin(θ) 1 -sin(θ) X-½b Y Z = 09. Januar 2001

10 Geometrie Analog Koordinatensystem XRYRZR:
cos(θ) -sin(θ) 1 sin(θ) X+½b Y Z = Abbildungen (xLyL) und (xRyR): f * XR cos(θ)*(X + ½b) - sin(θ)*Z xR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z f * YR Y yR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z xL und yL analog 09. Januar 2001

11 Geometrie Umformen der 4 Gleichungen ergibt:
[-xLsin(θ) – f cos(θ)]* X + [xLcos(θ) – f sin(θ)]* Z = -[½b xLsin(θ) + ½b f] [xRsin(θ) – f cos(θ)]* X + [xRcos(θ) + f sin(θ)]* Z = -[½b xRsin(θ) - ½b f] [-yL sin(θ)]* X + [-f ]* Y + [yL cos(θ)]* Z = [½b yLsin(θ)] [yR sin(θ)]* X + [-f ]* Y + [yR cos(θ)]* Z = - [½b yRsin(θ)] In Koeffizientenschreibweise: a1 X a3 Z = a0 b1 X b3 Z = b0 c1 X + c2 Y + c3 Z = c0 d1 X + d2 Y + d3 Z = d0 Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen 09. Januar 2001

12 Geometrie Epipolare Geometrie: 09. Januar 2001

13 Annahmen und Einschränkungen
Problem: Mehrdeutigkeiten bei der Korrespondenzsuche Lösung: Reduzierung der Mehrdeutigkeiten durch Geometrische Einschränkungen (resultieren aus der Bildentstehung) Einschränkungen durch Objekteigenschaften → keine Einschränkung an die Komplexität der Objektgeometrie 09. Januar 2001

14 Annahmen und Einschränkungen
Geometrische Einschränkungen: 1. Epipolareinschränkung: Punkt im linken Bild, kann nur mit Punkt im rechten Bild korrespondieren, wenn jener auf Epipolarlinie liegt → Suchraum ist Eindimensional Problem: Erschütterungsproblematik, Spezialfall: Standardstereogeometrie (künstliche Objekte) Positionierungsgenauigkeit → Sicherheitsintervall 09. Januar 2001

15 Annahmen und Einschränkungen
Geometrische Einschränkungen: 2. Eindeutigkeit der Zuordnung: Jedes Pixels eines Bildes korrespondiert nur mit genau einem Pixel des anderem Bildes Ausnahme möglich: wenn zwei Punkte auf Sichtstrahl der einen Kamera liegen, jedoch Punkte auf anderem Kamerabild getrennt sichtbar 09. Januar 2001

16 Annahmen und Einschränkungen
Geometrische Einschränkungen: 3. Verträglichkeit von Intensitätswerten: Zwei Punkte (xL,yL) und (xR,yR) können nur dann korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| klein ist In der Praxis: Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren Problemfälle: Glanzlichter Diskretisierungsfehler 09. Januar 2001

17 Annahmen und Einschränkungen
Geometrische Einschränkungen: 4. Geometrische Ähnlichkeit der Merkmale: Winkelkriterium: Liniensegment SL korrespondiert mit SR nur, wenn |WL – WR| klein ist Längenkriterium: |LL – LR| klein ist 09. Januar 2001

18 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 1. Kontinuität der Disparitäten: Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw. rechten gefilterten Bild korrespondieren, können (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn | (xL1 – xR1)2 + (yL1 – yR1) (xL2 – xR2)2 + (yL2 – yR2)2| klein ist [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||xL1 – xR1| - |xL2 – xR2|| 09. Januar 2001

19 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 2. Kontinuität entlang der Kanten: Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken bzw. rechten gefilterten Bild korrespondieren, können (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn | (xL1 – xR1)2 + (yL1 – yR1) (xL2 – xR2)2 + (yL2 – yR2)2| klein ist [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||xL1 – xR1| - |xL2 – xR2|| 09. Januar 2001

20 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 3. Verträglichkeitsannahme von Merkmalen: Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben Beispiel Kanten: 09. Januar 2001

21 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: Orientierungskanten Reflexionskanten Beleuchtungskanten 09. Januar 2001

22 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 4. Disparitätslimit Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens für korrespondierende Punkte existiert ein maximaler Disparitätswert dmax: → (xL – xR)2 + (yL – yR)2 < dmax → Mindestabstand der Objekte gefordert Spezialfall Standardstereogeometrie: |xL – xR| < dmax 09. Januar 2001

23 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit: Definition des Disparitätsgradienten (Mayhew/Frisby): Seien aR, aL und bR, bL korrespondierende Punkte Differenz der Disparitäten Disparitätsgradient = zyklopische Separation Differenz der Disparitäten = |ΔxL – ΔxR| 09. Januar 2001

24 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: Zyklopische Separation : Definition: Abstand der Mittelpunkte zwischen den beiden Punktpaaren → ¼(ΔxL – ΔxR)2 + Δy2 09. Januar 2001

25 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit (Fortsetzung): Formel für Disparitätsgradienten (Γd ): |ΔxL – ΔxR| Γd = ¼(ΔxL – ΔxR)2 + Δy2 Zwei benachbarte Punktpaare korrespondieren nur dann, wenn der Disparitätsgradient nicht einen Maxwert über- schreitet: → Γd < Γmax 09. Januar 2001

26 Annahmen und Einschränkungen
Einschränkungen durch Objekteigenschaften: 6. Reihenfolge der abgebildeten Punkte: Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet 09. Januar 2001

27 Korrespondenzanalyse
Intensitätsbasierte Korrespondenzanalyse: Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert → Problem: nicht ausreichend für eindeutige Zuweisung Beispiel: 640x480 Bildpunkte bei 256 Graustufen → Pixel insgesamt → min Pixel mit gleichen Intensitätswert Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8) 09. Januar 2001

28 Korrespondenzanalyse
Block-Matching-Verfahren: Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m Annahme, alle Pixel in einem Block haben gleichen Disparitätswert Verarbeitungsschritte: Unterteilung eines Bildes in feste Anzahl von Blöcken Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit) 09. Januar 2001

29 Korrespondenzanalyse
Block-Matching-Verfahren: Ähnlichkeitsmaß zweier Blöcke (mittlere quadratische Abweichung MSE) → Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion Im Fall mehrerer Minima der MSE-Funktion: → Heranziehen der Kontinuitätsannahme für Disparitäten Ergebnis: → Disparitätenmatrix 1 n-1 m-1 MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|2 nm i=0 j=0 09. Januar 2001

30 Korrespondenzanalyse
Block-Matching-Verfahren: Problem dieses Verfahrens: homogene Regionen regelmäßige Texturen Beste Qualität bei n = m = 8 Bildpunkten Verfeinerung des Verfahrens nach T. Reuter: Anwendung des Medianoperator auf Disparitätenmatrix Pixelselektion Anwendung des Medianop. auf Disparitätswerte der Pixel 09. Januar 2001

31 Korrespondenzanalyse
Pixel-Selektion: Medianop. auf Blockdisparitäten einer 3x3 Umgebung Berechnung der Disparität für jedes Pixel (x‘,y‘) unter Verwendung der Disparitätswerte der 9 Blöcke: DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9 → Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k) Medianop. Auf Disparitätswerte der Pixelselektion Bemerkung: Pixelselektion auf jeden Pixel → dichte Disparitätenkarte 09. Januar 2001

32 Korrespondenzanalyse
Block-Matching-Verfahren für d. Farbstereoanalyse: RGB-Raum: D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2 D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2| D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2 D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 } R G B r = g = b = R + B + G R + B + G R + B + G 09. Januar 2001

33 Korrespondenzanalyse
Block-Matching-Verfahren für d. Farbstereoanalyse: HSI-Raum: F1 = (H1,S1,I1) und F2 = (H2,S2,I2) D5(F1,F2) = (d I )2 + (d C )2 d I = |I1 – I2| und d C = S12 + S22 – 2S1S2 cos(θ) |H1 – H2| falls |H1 – H2| ≤ π 2π - |H1 – H2| falls |H1 – H2| > π θ = 09. Januar 2001

34 Korrespondenzanalyse
Block-Matching-Verfahren für d. Farbstereoanalyse: Analog zu „normalen“ Block-Matching: 1 n-1 m-1 MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j)) nm i=0 j=0 DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9 Bemerkungen: Qualität der Lösung ist abhängig von Anzahl der Farben Bei unbunten Farben, keine Verbesserung Einblenden von Mustern 09. Januar 2001

35 Korrespondenzanalyse
Merkmalsbasierte Korrespondenzanalyse: bsp. Anhand Orientierung/Länge von Kanten Vorteile gegenüber intensitätsbasierte Analyse: geringerer Mehrdeutigkeiten, da weniger Kandidaten Stereozuordnung ist weniger sensitiv genauere Berechnung der Disparitäten möglich 09. Januar 2001

36 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: (Verfahren nach Y. Shirai und Y. Nishimoto 1985) LoG-Operator für Merkmalsextraktion mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i,j) definiert Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist → Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d): 1, wenn eL(i,j) eR(i+d,j) korrespondieren 0, sonst ML = MR = 09. Januar 2001

37 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: Beschränkung der Anzahl möglicher Zuordnungen durch Häufigkeitstabelle der möglichen Disparitäten (GDH): Σ MR (i,j;d) GDHR (d) = (GDHL (d) analog) Σ |eR(i,j)| → Annahme, richtige Zuordnungen treten gehäuft auf Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt: Iα = { d | GDHR (d) > a*H } 09. Januar 2001

38 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: Bestimmung lokaler Disparitätskandidaten anhand LDH‘s: LDH = Häufigkeitstabelle aller in Disparitäten innerhalb eines Fensters W = Nσ x Nσ: Nσ = 2 πσ Σ MR (i,j;d) LDHR (i,j;d) = (LDHL (d) analog) Σ |eR(i,j)| Bestimmung des besten Kanals: Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal → Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx) 09. Januar 2001

39 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: → QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen → Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und dL ≈ dR → wahrscheinliche Disparität: d* = ½(dL + dR) Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt: für alle möglichen Disparitäten d1..dn für ein ZC wird dk ausgewählt, für das gilt: |dk - d*| < |d e – d *| " 1 £ e £ n, e ¹ k und |dk - d*| < dc 09. Januar 2001

40 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: → jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert → nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet → Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden 09. Januar 2001

41 Korrespondenzanalyse
Histogrammbasierte Korrespondenzanalyse: Verwendung von Farbinformationen: analog zu Grauwertbildern Hinzunahme eines weiteren Kriteriums: Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr: Drg (x,y) = r(x,y) – g(x,y) (andere analog) → Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich δ δx (GAUSS* Drg) 09. Januar 2001

42 Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich:
1. Rechtwinklige komplanare Anordnung Vorteil: einfache Bestimmung der Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik 09. Januar 2001

43 Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich:
2. kollineare Anordnung: Vorteil: einfache Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik Mehrdeutigkeiten 09. Januar 2001

44 Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich:
3. „freie“ Anordnung Vorteil: Korrespondenzproblem kann mit Geometrie gelöst werden Nachteil: Bestimmung der Epipolarlinien 09. Januar 2001

45 Stereoanalyse Triokulare Stereoanalyse:
Zwei verschiedene Zuordnungsstrategien: Pixel wird nur zugeordnet, wenn in allen Bildern eine Korrespondenz bestimmt wurde Pixel wird zugeordnet, wenn in mindestens zwei Bildern eine Korrespondenz bestimmt wurde 09. Januar 2001

46 Stereoanalyse Triokulare Stereoanalyse:
Beispiel anhand eines geometrischen Verfahrens: 09. Januar 2001

47 Zusammenfassung Geometrie eines Aufnahmesystems
Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras 09. Januar 2001

48 Vielen Dank für die Aufmerksamkeit – F r a g e n ?
09. Januar 2001