Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001.

Ähnliche Präsentationen


Präsentation zum Thema: "HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001."—  Präsentation transkript:

1 HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001

2 2 Inhalt: 1. Geometrie eines Aufnahmesystems 2. Annahmen und Einschränkungen 3. Intensitätsbasierte Korrespondenzanalyse 4. Merkmalsbasierte Korrespondenzanalyse 5. Stereoanalyse mit drei Kameras 6. Zusammenfassung

3 09. Januar Statische Stereoanalyse: Betrachtung eines Objekts aus zwei Positionen Rückschluß auf Lage des Objekts im 3D-Raum Voraussetzung: keine Objekt- und Kamerabewegung oder zeitgleiche Aufnahme der beiden Bilder Verarbeitungsschritte: Bildaufnahme Kameramodellierung Merkmalsextraktion Korrespondenzanalyse Tiefenwertbestimmung

4 09. Januar Geometrie Wiederholung aus Vortrag 1: p = (x,y) = f*X f*Y Z Z,, da X x Z f =

5 09. Januar Geometrie Standardstereogeometrie: P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert: p links = p rechts = f*X f*Y Z Z, f*(X-b) f*Y Z Z,

6 09. Januar Geometrie Standardstereogeometrie: Disparität (d): Euklidscher Abstand zwischen zwei korrespondierenden Punkten p links (x l,y l ) und p rechts (x r,y r ) d = x links – x rechts d = (x links - x rechts ) 2 + (y links - y rechts ) 2 f*X f*(X-b) x links x rechts Z = = f*(X-b) da x links = und x rechts = f*X ZZ (*)

7 09. Januar Geometrie Standardstereogeometrie: b* x links x links - x rechts X = b* f x links - x rechts Z = b* y x links - x rechts Y = Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen. Korrespondenzproblem (Auflösen nach X) (Einsetzen in (*)) Z* y f (Y = )

8 09. Januar Geometrie 1. Stereobildaufnahmesystem:

9 09. Januar Geometrie Koordinatensystem X L Y L Z L : Rotationsmatrix:cos(θ)0sin(θ)010 -sin(θ)0cos(θ) Translation:X-½bY Z cos(θ)0sin(θ)010 -sin(θ)0cos(θ) X-½bY Z XLXLXLXL YLYLYLYL ZLZLZLZL =

10 09. Januar Geometrie Analog Koordinatensystem X R Y R Z R :cos(θ)0-sin(θ)010 sin(θ)0cos(θ) X+½bY Z XRXRXRXR YRYRYRYR ZRZRZRZR = Abbildungen (x L y L ) und (x R y R ): x R = = f f * X R ZRZR θθ cos(θ)*(X + ½b) - sin(θ)*Z θθ sin(θ)*(X + ½b) + cos(θ)*Z y R = = f f * Y R ZRZR Y θθ sin(θ)*(X + ½b) + cos(θ)*Z x L und y L analog

11 09. Januar Geometrie Umformen der 4 Gleichungen ergibt: θθ)]* X + θθ)]* Z = -[½b x L sin(θ) + ½b f] [-x L sin(θ) – f cos(θ)]* X + [x L cos(θ) – f sin(θ)]* Z = -[½b x L sin(θ) + ½b f] θθ)]* X + θθ)]* Z = -[½b x R sin(θ) - ½b f] [x R sin(θ) – f cos(θ)]* X + [x R cos(θ) + f sin(θ)]* Z = -[½b x R sin(θ) - ½b f] [-θX + [-f ]* Y + [θZ = [½b y L sin(θ)] [-y L sin(θ)]* X + [-f ]* Y + [y L cos(θ)]* Z = [½b y L sin(θ)] [θX + [-f ]* Y + [θZ = - [½b y R sin(θ)] [y R sin(θ)]* X + [-f ]* Y + [y R cos(θ)]* Z = - [½b y R sin(θ)] In Koeffizientenschreibweise: a 1 X + a 3 Z = a 0 b 1 X + b 3 Z = b 0 c 1 X + c 2 Y + c 3 Z = c 0 d 1 X + d 2 Y + d 3 Z = d 0 Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen

12 09. Januar Geometrie Epipolare Geometrie:

13 09. Januar Annahmen und Einschränkungen Problem: Mehrdeutigkeiten bei der Korrespondenzsuche Lösung: Reduzierung der Mehrdeutigkeiten durch Geometrische Einschränkungen (resultieren aus der Bildentstehung) Einschränkungen durch Objekteigenschaften keine Einschränkung an die Komplexität der Objektgeometrie

14 09. Januar Annahmen und Einschränkungen Geometrische Einschränkungen: 1. Epipolareinschränkung: Punkt im linken Bild, kann nur mit Punkt im rechten Bild korrespondieren, wenn jener auf Epipolarlinie liegt Suchraum ist Eindimensional Problem: Erschütterungsproblematik, Spezialfall: Standardstereogeometrie (künstliche Objekte) Sicherheitsintervall Positionierungsgenauigkeit

15 09. Januar Annahmen und Einschränkungen Geometrische Einschränkungen: 2. Eindeutigkeit der Zuordnung: Jedes Pixels eines Bildes korrespondiert nur mit genau einem Pixel des anderem Bildes Ausnahme möglich: wenn zwei Punkte auf Sichtstrahl der einen Kamera liegen, jedoch Punkte auf anderem Kamerabild getrennt sichtbar

16 09. Januar Annahmen und Einschränkungen Geometrische Einschränkungen: 3. Verträglichkeit von Intensitätswerten: Zwei Punkte (x L,y L ) und (x R,y R ) können nur dann korrespondieren, wenn |E L (x L,y L ) – E R (x R,y R )| klein ist In der Praxis: Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren Problemfälle: Glanzlichter Diskretisierungsfehler

17 09. Januar Annahmen und Einschränkungen Geometrische Einschränkungen: 4. Geometrische Ähnlichkeit der Merkmale: Winkelkriterium: Liniensegment S L korrespondiert mit S R nur, wenn |W L – W R | klein ist Längenkriterium: Liniensegment S L korrespondiert mit S R nur, wenn |L L – L R | klein ist

18 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 1. Kontinuität der Disparitäten: Wenn zwei Punkte (x L,y L ) und (x R,y R ) im linken bzw. rechten gefilterten Bild korrespondieren, können (x L2,y L2 ) und (x R2,y R2 ) nur dann korrespondieren, wenn | (x L1 – x R1 ) 2 + (y L1 – y R1 ) 2 - (x L2 – x R2 ) 2 + (y L2 – y R2 ) 2 | klein ist [ (x L2,y L2 ) und (x R2,y R2 ) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||x L1 – x R1 | - |x L2 – x R2 ||

19 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 2. Kontinuität entlang der Kanten: Wenn zwei Kantenpunkte (x L,y L ) und (x R,y R ) im linken bzw. rechten gefilterten Bild korrespondieren, können (x L2,y L2 ) und (x R2,y R2 ) nur dann korrespondieren, wenn | (x L1 – x R1 ) 2 + (y L1 – y R1 ) 2 - (x L2 – x R2 ) 2 + (y L2 – y R2 ) 2 | klein ist [ (x L2,y L2 ) und (x R2,y R2 ) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||x L1 – x R1 | - |x L2 – x R2 ||

20 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 3. Verträglichkeitsannahme von Merkmalen: Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben Beispiel Kanten:

21 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: Orientierungskanten Reflexionskanten Beleuchtungskanten

22 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 4. Disparitätslimit Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens für korrespondierende Punkte existiert ein maximaler Disparitätswert d max : (x L – x R ) 2 + (y L – y R ) 2 < d max Mindestabstand der Objekte gefordert Spezialfall Standardstereogeometrie: |x L – x R | < d max

23 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit: Definition des Disparitätsgradienten (Mayhew/Frisby): Seien a R, a L und b R, b L korrespondierende Punkte Disparitätsgradient = Differenz der Disparitäten zyklopische Separation Differenz der Disparitäten = |Δx L – Δx R |

24 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: Zyklopische Separation : ¼(Δx L – Δx R ) 2 + Δy 2 Definition: Abstand der Mittelpunkte zwischen den beiden Punktpaaren

25 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit (Fortsetzung): Formel für Disparitätsgradienten (Γ d ): Γ d = |Δx L – Δx R | ¼(Δx L – Δx R ) 2 + Δy 2 Zwei benachbarte Punktpaare korrespondieren nur dann, wenn der Disparitätsgradient nicht einen Maxwert über- schreitet: Γ d < Γ max

26 09. Januar Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 6. Reihenfolge der abgebildeten Punkte: Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet

27 09. Januar Korrespondenzanalyse Intensitätsbasierte Korrespondenzanalyse: Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert Problem: nicht ausreichend für eindeutige Zuweisung Beispiel: 640x480 Bildpunkte bei 256 Graustufen Pixel insgesamt min Pixel mit gleichen Intensitätswert Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8)

28 09. Januar Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m Annahme, alle Pixel in einem Block haben gleichen Disparitätswert Verarbeitungsschritte: Unterteilung eines Bildes in feste Anzahl von Blöcken Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit)

29 09. Januar Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsmaß zweier Blöcke (mittlere quadratische Abweichung MSE) Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion Im Fall mehrerer Minima der MSE-Funktion: Heranziehen der Kontinuitätsannahme für Disparitäten Ergebnis: Disparitätenmatrix MSE(x,y, Δ) = Σ Σ |E R (x+i,y+j) – E L (x+i+Δ,y+j)| 2 1 nm i=0 j=0 n-1 m-1

30 09. Januar Korrespondenzanalyse Block-Matching-Verfahren: Problem dieses Verfahrens: homogene Regionen regelmäßige Texturen Beste Qualität bei n = m = 8 Bildpunkten Verfeinerung des Verfahrens nach T. Reuter: 1.Anwendung des Medianoperator auf Disparitätenmatrix 2.Pixelselektion 3.Anwendung des Medianop. auf Disparitätswerte der Pixel

31 09. Januar Korrespondenzanalyse Pixel-Selektion: 1.Medianop. auf Blockdisparitäten einer 3x3 Umgebung 2.Berechnung der Disparität für jedes Pixel (x,y) unter Verwendung der Disparitätswerte der 9 Blöcke: DIFF(k) = |E R (x, y) – E L (x + D(k), y)| mit k = 1..9 Disparitätswert für P(x,y) ist D(k) mit minimalen DIFF(k) 3.Medianop. Auf Disparitätswerte der Pixelselektion Bemerkung: Pixelselektion auf jeden Pixel dichte Disparitätenkarte

32 09. Januar Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: RGB-Raum: D 1 (F 1,F 2 ) = (r 1 – r 2 ) 2 + (g 1 – g 2 ) 2 + (b 1 – b 2 ) 2 D 2 (F 1,F 2 ) = |r 1 – r 2 | + |g 1 – g 2 | + |b 1 – b 2 | D 3 (F 1,F 2 ) = |r 1 – r 2 | 2 + |g 1 – g 2 | 2 + |b 1 – b 2 | 2 D 4 (F 1,F 2 ) = max{|r 1 – r 2 |, |g 1 – g 2 |, |b 1 – b 2 | 2 } r = g = b = R G B R + B + G R + B + G R + B + G

33 09. Januar Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: HSI-Raum: F 1 = (H 1,S 1,I 1 ) und F 2 = (H 2,S 2,I 2 ) D 5 (F 1,F 2 ) = (d I ) 2 + (d C ) 2 θ d I = |I 1 – I 2 | und d C = S S 2 2 – 2S 1 S 2 cos(θ) θ = |H 1 – H 2 |falls |H 1 – H 2 | π 2π - |H 1 – H 2 |falls |H 1 – H 2 | > π

34 09. Januar Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: Analog zu normalen Block-Matching: MSE Farbe (x,y, Δ) = Σ Σ D e (C R (x+i,y+j) – C L (x+i+Δ,y+j)) 1 nm i=0 j=0 n-1 m-1 DIFF Farbe (k) = D e (C R (x, y) – C L (x + D(k), y)) mit k = 1..9 Bemerkungen: Qualität der Lösung ist abhängig von Anzahl der Farben Bei unbunten Farben, keine Verbesserung Einblenden von Mustern

35 09. Januar Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse: bsp. Anhand Orientierung/Länge von Kanten Vorteile gegenüber intensitätsbasierte Analyse: 1.geringerer Mehrdeutigkeiten, da weniger Kandidaten 2.Stereozuordnung ist weniger sensitiv 3.genauere Berechnung der Disparitäten möglich

36 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: (Verfahren nach Y. Shirai und Y. Nishimoto 1985) LoG-Operator für Merkmalsextraktion mit σ 1 = 1,41, σ 2 = 3,18 und σ 3 = 6,01 Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse ZC wird als Einheitsvektor e (o) (i,j) definiert Korrespondenzkandidaten sind Paare von ZCs in rechten und linken Bild, deren Richtungsunterschied < 30° ist Zuordnungsfunktion M L (i,j;d) und M R (i+d,j;d): M L = M R = 1, wenn e L (i,j) e R (i+d,j) korrespondieren 0, sonst

37 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Beschränkung der Anzahl möglicher Zuordnungen durch Häufigkeitstabelle der möglichen Disparitäten (GDH): GDH R (d) = Σ M R (i,j;d) Σ |e R (i,j)| (GDH L (d) analog) Annahme, richtige Zuordnungen treten gehäuft auf Aufgrund dieser Annahme werden Disparitätskandida- tenintervalle bestimmt: I α = { d | GDH R (d) > a*H }

38 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Bestimmung lokaler Disparitätskandidaten anhand LDHs: LDH = Häufigkeitstabelle aller in Disparitäten innerhalb eines Fensters W = N σ x N σ : N σ = 2 πσ LDH R (i,j;d) = Σ M R (i,j;d) Σ |e R (i,j)| (LDH L (d) analog) Bestimmung des besten Kanals: Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal Zur Überprüfung des Kanals: Differenzfunktion Q x (i,j;d x )

39 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Q L (i,j;d L ) und Q R (i,j;d R ) sind korrespond. Differenzen Zuordnung erfolgt, wenn Q L und Q R einen bestimmten Wert überschreiten und d L d R wahrscheinliche Disparität: d * = ½(d L + d R ) Nach Bestimmung von d * in W σ werden alle ZCs in W σ und W σ ( σ < σ ) bestimmt: für alle möglichen Disparitäten d 1..d n für ein ZC wird d k ausgewählt, für das gilt: |d k - d * | < |d e – d * | 1 e n, e k und |d k - d * | < d c

40 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert nach Bestimmung aller ZCs aus W σ und W σ wird der der gesamte Algorithmus ab der Bestimmung der GDHs neu gestartet Algorithmus terminiert, wenn keine neuen ZCs gefunden werden, oder alle ZCs in der feinsten Auflösung zugeord- net wurden

41 09. Januar Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Verwendung von Farbinformationen: analog zu Grauwertbildern Hinzunahme eines weiteren Kriteriums: Verwendung von 3 Differenzfarbspektren D rg, D gb und D br : D rg (x,y) = r(x,y) – g(x,y) (andere analog) Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich (GAUSS* D rg ) δ δx

42 09. Januar Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 1. Rechtwinklige komplanare Anordnung Vorteil: einfache Bestimmung der Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik

43 09. Januar Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 2. kollineare Anordnung: Vorteil: einfache Epipolarlinien Nachteil: Ausrichtung Erschütterungsproblematik Mehrdeutigkeiten

44 09. Januar Stereoanalyse Triokulare Stereoanalyse: 3 Anordnungen gebräuchlich: 3. freie Anordnung Vorteil: Korrespondenzproblem kann mit Geometrie gelöst werden Nachteil: Bestimmung der Epipolarlinien

45 09. Januar Stereoanalyse Triokulare Stereoanalyse: Zwei verschiedene Zuordnungsstrategien: Pixel wird nur zugeordnet, wenn in allen Bildern eine Korrespondenz bestimmt wurde Pixel wird zugeordnet, wenn in mindestens zwei Bildern eine Korrespondenz bestimmt wurde

46 09. Januar Stereoanalyse Triokulare Stereoanalyse: Beispiel anhand eines geometrischen Verfahrens:

47 09. Januar Zusammenfassung Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems Annahmen und EinschränkungenAnnahmen und Einschränkungen Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras

48 09. Januar Vielen Dank für die Aufmerksamkeit – F r a g e n ?


Herunterladen ppt "HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001."

Ähnliche Präsentationen


Google-Anzeigen