Erste Stufe der Informationsgewinnung

Erste Stufe der Informationsgewinnung
Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Bestimmt Art Modifiziert Bildauswertung Parameterschätzung, Klassifikation Modellausprägungen (Parametersätze) Modellelemente Modellwelt Bestimmt Art Projektion Modellwelt-Bild Merkmale, Primitive Signal- verarbeitung Synthese Synthetisches Bild, Szenenskizze Verfahren extrahieren Digitalisiertes Bild Bildsensor Display Computer Vision _Seite 1

Bildmerkmale Informationsgewinnung
Objektberandung Grauwertunterschiede Lokalisierung (Geometrie) Texturunterschiede Segmentierung Freiheitsgrade Form Oberflächeneigenschaft Grauwert Klassifikation (Radiometrie) Textur Modellähnlichkeit Klassifikation (geometrisch, radiometrisch) Kanten- operator Merkmal 1- Bild N Kanten- bilder Merkmal 1 - Operator Bild . . . Merkmal N - Operator Merkmal N- Bild N Fleck- bilder Fleck- operator Computer Vision _Seite 2

Videokamera Diskrete Signale Aliasing räumlich und zeitlich:
Signale halbe Abtastfrequenz! Abstandsmaße im diskreten Gitter Euklidische Distanz City-block-Distanz Schachbrett-Distanz Computer Vision _Seite 3

Merkmale Informationsgewinnung
Textur-Deskriptoren Texturelle Statistische Fourier Berandungsdeskriptoren Einfache shape numbers Momente Regionale Deskriptoren Topologische Computer Vision _Seite 4

Grauwert-Deskriptoren: Textur Keine formale Beschreibung von Textur. Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc. Drei Ansatzpunkte zur Beschreibung von Textur: Statistisch: glatt, rauh, körnig,grob Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien) Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum periodisch homogen Rauh fraktal Computer Vision _Seite 5

Textur: Statistische Ansätze . g h homogen . Rauh fraktal h g 1. Auswertung des Histogramms des durch die Maske definierten Bildbereichs Computer Vision _Seite 6

Textur: Statistische Ansätze: Momente des Grauwerthistogramms Wenn L die Anzahl der Grauwerte ist und h(gi) das Histogramm in der Maske, so sind die n-ten Momente: Das zweite Moment heisst Varianz und wird mit s² bezeichnet. Es ist ein Maß des Grauwertkontrasts. Z.B. ist R=0 für konstanten Grauwert und geht gegen 1 für große s. n=3: Skewness des Histogramms n=4: relative Plattheit des Histogramms g h h g Computer Vision _Seite 7

Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der Pixel zueinander (Phase). Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert: Coocurrence-Matrix. Positionsoperator Pk,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l). Anzahl der unterschiedlichen Grauwerte G Matrix A mit GxG Elementen ai,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j. Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen. Beispiel: G=3: g e {0,1,2}; Positionsoperator P1,1 Angewendet auf das Bild Ergibt die und damit Matrix Cooccurrence Matrix ci,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit, dass ein Paar von Punkten, das P erfüllt die Werte i,j hat. Computer Vision _Seite 8

Textur: Statistische Ansätze: Coocurrence-Matrix Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur gewonnen werden. Eine solche Menge von Deskriptoren ist z.B.: (1) Maximale Wahrscheinlichkeit Stärkste Antwort auf P (2) Moment der Elemente-Differenz der Ordnung k relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag. (3) Moment der inversen Elemente-Differenz der Ordnung k Gegenteiliger Effekt wie (2) (4) Entropie Maß für die Unordnung (5) Gleichförmigkeit Entgegengesetzt zu (4) Computer Vision _Seite 9

Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Vereinfachung gegenüber Coocurrence-Matrix Bildfenster gleicher Größe, deren Mitte um du und dv gegeneinander verschoben ist: {gm´,n´ } = {gm+du, n+dv }, m = 1, ... ,M; n = 1, ... ,N Summen und Differenzen der Grauwerte: Summen- und Differenzhistogramme: Computer Vision _Seite 10

gm+du,n+dv X du dv gm,n X sm,n = gm,n + gm+du,n+dv dm,n = gm,n - gm+du,n+dv X X hs hd i i Computer Vision _Seite 11

Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Maße aus den normierten Histogrammen: können berechnet werden für verschiedene du und dv, meist (1,0), (1,1), (0,1), (-1,0) Computer Vision _Seite 12

Textur: Statistische Ansätze: Momente Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q): für p,q = 0,1,2,... Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt. Die Menge aller Momente bestimmt seinerseits f(x,y). Zentrale Momente Für ein digitales Bild wird daraus Um Schwerpunkt verschoben: translationsinvariant Computer Vision _Seite 13

Textur: Statistische Ansätze: Momente Zentrale Momente bis zur Ordnung 3: Skaleninvarianz durch Normierung Normierte zentrale Elemente: Computer Vision _Seite 14

Textur: Statistische Ansätze: Invariante Momente Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten: Translations-, rotations- und skaleninvariant Computer Vision _Seite 15

Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen Quelle: Handbook of Computer Vision Computer Vision _Seite 16

Segmentierung Informationsgewinnung
Detektion von Diskontinuitäten Kanten Linien Punkte Detektion von Ähnlichkeiten Computer Vision _Seite 17

Segmentierung Detektion von Diskontinuitäten Kanten
Grauwertprofil erste Ableitung zweite Ableitung (Gradient) (Laplace) Computer Vision _Seite 18

Bildmerkmale Merkmal Gradient
Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann treten an Objektgrenzen starke Gradienten auf. Grauwertbild Gradientenbild Computer Vision _Seite 19

Betrag gibt Stärke des Grauwertübergangs. Rotationsinvariant Invariant gegen homogene GW-Änderungen Phase gibt Richtung. Diskretisierung im Bild -> Differenzenquotienten Computer Vision _Seite 20

Diskretisierung im Bild -> Differenzenquotienten Rückwärts-x- Gradient –Dx Vorwärts-x- Gradient +Dx Symmetrischer-x- Gradient SDx Ergibt Faltungsmaske Analog y, z.B.: Computer Vision _Seite 21

Bildmerkmale Eindimensional, diskret 2D, diskret 2D, kontinuierlich
Erinnerung: Faltung g(m) K(m) m=17 Eindimensional, diskret 2D, diskret 2D, kontinuierlich Computer Vision _Seite 22

Bildmerkmale 2D, diskret, endl. Faltungskern
Erinnerung: Faltung 2D, diskret, endl. Faltungskern Bild {gm,n}, 0 £ m £ M, 0 £ n £ N Faltungskern {Km,n} g1,1 g1,2 g1,3 g1,4 g1,5 g1,6 g1,7 g1,8 g1,9 ... g2,1 g2,2 g2,3 g2,4 g2,5 g2,6 g2,7 g2,8 g2,9 g3,1 g3,2 g3,3 g3,4 g3,5 g3,6 g3,7 g3,8 g3,9 g4,1 g4,2 g4,3 g4,4 g4,5 g4,6 g4,7 g4,8 g4,9 g5,1 g5,2 g5,3 g5,4 g5,5 g5,6 g5,7 g5,8 g5,9 g6,1 g6,2 g6,3 g6,4 g6,5 g6,6 g6,7 g6,8 g6,9 g7,1 g7,2 g7,3 g7,4 g7,5 g7,6 g7,7 g7,8 g7,9 g8,1 g8,2 g8,3 g8,4 g8,5 g8,6 g8,7 g8,8 g8,9 g9,1 g9,2 g9,3 g9,4 g9,5 g9,6 g9,7 g9,8 g9,9 .... K-1,-1 K-1,0 K-1 1 K0,-1 X K0,0 K0,1 K1,-1 K1,0 K1,1 Beispiel: m = 4, n = 4, mhs=0 Jk = 1, Kk = 1, nhs=0 K-1,-1 K-1,0 K-1 1 K0,-1 X K0,0 K0,1 K1,-1 K1,0 K1,1 Computer Vision _Seite 23

Bildmerkmale Merkmal Gradient Einige gängige Gradienten-Operatoren:
Roberts Prewitt Sobel Isotrop Computer Vision _Seite 24

Gradienten-Operatoren verstärken Rauschen: Vorzugsweise Operatoren mit Glättungseigenschaften Sobel Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung Gaussfunktion Computer Vision _Seite 25

Faltung mit der Ableitung der Gaussfunktion: Canny-Filter Separierbar in x und y Computer Vision _Seite 26

Bildmerkmale Merkmal Laplace
Laplace-Operator einer 2-dimensionalen Funktion f(x,y): Im Fall einer diskreten 3x3-Maske: Laplace-Operatoren verstärken Rauschen: Glättung mit Gauss-Funktion Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten. Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten. 2s Hildreth-Marr- oder Mexican Hat-Operator Computer Vision _Seite 27

Konturextraktion Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter 2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung 0° 45° 90° 135° 180° 225° 270° 315° Gradienten-Richtung in M Maximumbedingung 1°...22°, 158°...202°, 338°...360° b(A) £ b(M) und b(E) £ b(M) 23°...67°, 203°...247° b(B) £ b(M) und b(F) £ b(M) 68°...112°, 248°...292° b(C) £ b(M) und b(G) £ b(M) 113°...157°, 293°...337° b(D) £ b(M) und b(H) £ b(M) Wenn M Maximum, trage in Ergebnisbild Betrag und Richtung ein, sonst 0. Computer Vision _Seite 28

1. Faltung mit Filter Betrag Richtung Computer Vision _Seite 29

2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision _Seite 30

1. Faltung mit Filter Betrag Richtung Computer Vision _Seite 31

2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision _Seite 32

Konturextraktion Kantenpixel-Verkettung
Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten Leider nicht immer Objektränder: Zusätzliche Struktur und Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten.  Daher weitere Verarbeitung zur Zusammenstellung von Kantenpixelkandidaten zu Rändern. 1. Unterdrückung zusätzlicher Strukturen: I.A. kleiner Gradientenbetrag Vorgehen: Zwei Schwellen zur Unterdrückung: Größere Schwelle zur Filterung ausgeprägter Konturpunkte Dort Verfolgung der Kontur mit kleinerer Schwelle Computer Vision _Seite 33

Konturextraktion 2. Verdünnung auf pixelbreite Strukturen:
Durch Diskretisierung bis zu 3 Pixel breite Strukturen. Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix) 3. Lokale Verarbeitung: Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen Kandidaten: Alle ähnlichen Kandidaten werden verbunden.  Rand von Pixeln ähnlicher Eigenschaft. Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung Computer Vision _Seite 34

Bildsegmentierung durch Schwellwerte
Histogramm-Auswertung Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt: Histogrammsegmentierung Merkmalsbild Hintergrund Objekt Segmentierung Anzahl Bildpunkte g(x,y) H(x,y)=0, wenn g(x,y) £ T H(x,y)=1, wenn g(x,y) > T Helligkeit (Grauwert) Schwelle T Computer Vision _Seite 35

Auffinden der Schwelle mittels Histogramm-Auswertung (1) Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z für Objekt pO(z) und Hintergrund pH(z) mit a priori Auftrittswahrscheinlichkeiten von Objektpunkten PO und Hintergrundpunkten PH. Bedingung PO + PH = 1. Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = PO pO(z) + PH pH(z) Im Gauss´schen Fall: Computer Vision _Seite 36

Auffinden der Schwelle mittels Histogramm-Auswertung (2) Wahrscheinlichkeit einer Fehlzuordnung E: Minimierung von E Gauss´sche pO und pH: Einsetzen, logarithmieren und vereinfachen ergibt quadratische Gleichung mit Computer Vision _Seite 37

Auffinden der Schwelle mittels Histogramm-Auswertung (3) Vorgehen nach obiger Methode: Trainingsstichprobe Bildmaterial Histogramm für Objektpixel hO Histogramm für Hintergrundpixel hH Berechnung von sO und mO aus hO Berechnung von sH und mH aus hH Berechnung von A, B und C: Berechnung der Schwelle durch Lösung der quadratischen Gleichung Anwenden der Schwelle auf neues Bildmaterial Computer Vision _Seite 38

Darstellung und Beschreibung
Darstellung der Objekt-Berandung: Ketten-Code Kettencode-Erstellung: Folge der Richtungen entlang der Kontur ab beliebigem Startpunkt. Beispiel: Anfangspunktinvarianz 1. Startpunkt-Normierung: Verschiebe zirkular so, dass die Sequenz eine Zahl minimaler Größe bildet. Beispiel:  Rotationsinvarianz 2. Rotationsnormierung: Erste Differenz: Anzahl der Richtungen, die zwei aufeinanderfolgende Elemente des Codes trennen. Beispiel:  Anfangspunkt- und Rotationsinvarianz Kettencode  Rotationsnormierung  Startpunktnormierung Beispiel:   x X 6 1 7 1 2 2 1 2 3 4 5 6 7 2 3 1 1 2 7 4 3 6 4 5 5 7 6 Computer Vision _Seite 39

Darstellung der Objekt-Berandung: Polygon-Approximationen Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit. Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst kleiner Anzahl an Segmenten. Nicht-triviales Problem iterativer Suche. Einfache Methode für Polygone mit minimalem Umfang: Bedeckung Randkurve mit rechtwinklig angeordneten Quadraten 2. Gerade Verbindungen der Außenecken des „Quadrate-schlauches“ Computer Vision _Seite 40

Beschreibung der Objekt-Berandung: Polardarstellung r q Schwerpunkt A r q Schwerpunkt A r r A/Ö2 A/2 A/2 q q 2p p/2 p 3p/2 2p p/2 p 3p/2 Computer Vision _Seite 41

Beschreibung der Objekt-Berandung: Momente 1. Umwandlung einer Berandung in eine 2. Berechnung Momente der Kurve eindimensionale Kurve (z.B. Polardarst.) r q Schwerpunkt A r A/Ö2 A/2 q p/2 p 3p/2 2p Computer Vision _Seite 42

Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1 Als komplexe Zahl: u(s) = x(s) + iy(s) L-periodisch für geschlossene Konturen. DFT: a(k): Fourier-Deskriptoren der Berandung. Transformationseigenschaften: Identität u(s) -> a(k) Translation u´(s) = u(s)+u0 -> a´(k) = a(k)+ u0d(k) Skalierung u´(s) = au(s) -> a´(k) = aa(k) Anfangspunkt u´(s) = u(s-s0) -> a´(k) = a(k) exp(-i2ps0k/L) Rotation u´(s) = u(s) exp(i2q) -> a´(k) = a(k) exp(i2q) Computer Vision _Seite 43

Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren Randkurven u(s) und v(s) mit a(k) und b(k): Ist für mittelwertfreie u(s) und v(s) erfüllt, wenn d(f) kann für jedes f = f (s0) berechnet werden. Das Minimum ergibt dann d, welches dann ein Ähnlichkeitsmaß für die Formen ist. Computer Vision _Seite 44

Darstellung im Frequenzraum
Ortsraum - Frequenzraum Signale können als Überlagerung (Summe) periodischer Funktionen mit Frequenzen w und mit Amplituden F dargestellt werden: Transformation in Frequenzraum Diskrete Fourier-(Rück)Transformation Frequenzraum-Darstellung gibt an, mit welcher Häufigkeit jeweils periodische Funktionen vorkommen. Cosinus Funktionen Sinus Funktionen y(x) Computer Vision _Seite 45

Ortsraum - Frequenzraum Im Frequenzraum sind viele Operationen günstiger. Alle linearen Operationen z.B. Hochpass, Tiefpass, Bandpass und Bandsperre mit hoher Güte Erkennung periodischer Strukturen Manipulation periodischer Strukturen Nach einer Bearbeitung im Frequenzraum Fe(k)→Fe~(k) und Fo(k)→Fo~(k) kann wieder in den Ortsraum zurück transformiert werden. Analyse: Transformation Ortsraum  Frequenzraum Signal y im Ortsraum, Abtastwerte y(i) Synthese: Transformation Frequenzraum  Ortsraum Computer Vision _Seite 46

Komplexe Schreibweise
Darstellung im Frequenzraum Ortsraum – Frequenzraum Polare Notation – komplexe Schreibweise F(k) Amplitude (Magnitude) Fo(k) |F(k)| F Phase Fe(k) Komplexe Schreibweise Computer Vision _Seite 47

Ortsraum – Frequenzraum Filterung der abgetasteten Funktion y: Analyse Multiplikation mit Filterfunktion Synthese Filterfunktion, Abtastwerte f(k) Computer Vision _Seite 48

Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision _Seite 49

Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision _Seite 50

Ortsraum – Frequenzraum Bezüglich Fourier-Transformation invariante Funktionen Aus: Handbook of Computer Vision Computer Vision _Seite 51

Ortsraum – Frequenzraum Wichtige Fourier-Transformationspaare Aus: Handbook of Computer Vision Computer Vision _Seite 52

Ortsraum – Frequenzraum 2-Dimensionale diskrete Fourier-Transformation Computer Vision _Seite 53

Beschreibung der Objekt-Berandung: Umschreibendes Rechteck (Bounding box) Große Halbachse: Gerade, welche die am weitesten entfernten Punkte der Objektberandung verbindet. Kleine Halbachse: Zur großen Halbachse senkrechte kürzeste Gerade, so dass die Objektberandung im damit gebildeten Rechteck liegt. Exzentrizität: Verhältnis von großer zu kleiner Halbachse Computer Vision _Seite 54

Merkmale aus Bildfolgen
Bildfolgen: statische Kamera Bewegte Kamera Zeit Zeit Original Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Aufgaben: Eigenbewegungsschätzung Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Computer Vision _Seite 55

Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden Beschleunigte Bewegung: gekrümmte Kurven Computer Vision _Seite 56

Dynamik eines Bildpunktes Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Computer Vision _Seite 57

Bildfolgen: statische Kamera: Raum-Zeit-Kanten Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild Computer Vision _Seite 58

Bildfolgen: statische Kamera: Raum-Zeit-Kanten Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche Computer Vision _Seite 59

Bildfolgen: statische Kamera: Bewegungssegmentierung Differenzbildverfahren: 1 1 1 -1 Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge Computer Vision _Seite 60

Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Ein Pixel: g(t) g(t) g(t) t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis g(t) g(t) t t Langsame Veränderung Periodische Schwankung Computer Vision _Seite 61

Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Histogramm über M Bilder: H(g) H(g) H(g) ge g g g Ideal konstant Konstant mit Rauschen Einmaliges Ereignis H(g) H(g) g g Langsame Veränderung Periodische Schwankung Änderung, wenn HM(g) < HSchwelle Computer Vision _Seite 62

Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Vorgehensweise Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): Für jedes Pixel 1. Histogramm über die M letzten Bilder 2. Modellierung des Histogramms als Summe von Gaussfunktionen 3. Aktueller Grauwert in Modell? Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Letzte M Bilder aktuelles Bild ... Bewegungssegment-Bild In Modell In Modell H(g) g ... H(g) g Histogramm für jedes Pixel Computer Vision _Seite 63

Feste Szenengegenstände
Merkmale aus Bildfolgen Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte. Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) Feste Szenengegenstände F Kamera- drehung Bild Bild Verschiebung Bildsensor Computer Vision _Seite 64

... ... Merkmale aus Bildfolgen Bildfolgen: Kamera-Bewegungsschätzung
Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames 2. Korrektur der Translation Berechnung z.B. mittels FFT: ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: Dxmax, Dymax Computer Vision _Seite 65

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“ Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition t + Bild zur Zeit t Bild zur Zeit t+D t+D Computer Vision _Seite 66

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Prinzip t t+D t+D Ausschnitt aus Bild zur Zeit t: Template zur Suche im nächsten Bild Suche im Bild zur Zeit t+D: An welcher Stelle „passt“ das Template am besten? Suche beschränkt auf Suchbereich um Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+D, an der das Template der Bildstruktur am Ähnlichsten ist. Computer Vision _Seite 67

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Vorgehen t t+D Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+D) gleicher Form und Größe von Bild zur Zeit t+D. Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. Ähnlichkeitsmaße: Euklidische Distanz (Unähnlichkeit) Kreuzkorrelation (Ähnlichkeit) Computer Vision _Seite 68

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Ähnlichkeitsmaße -Ki, -Kj +Ki, -Kj Template „Block“ Verschiebungen di und dj um Ursprungsposition i,j des Templates -Ki, +Kj +Ki, +Kj Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz: Computer Vision _Seite 69

Bildfolgen: Bewegungsschätzung Optischer Fluss Grundsätzliche Annahme: Jedes Pixel zur Zeit t+1 einer Bildsequenz kann modelliert werden als ein Pixel zur Zeit t, das um einen Vektor (Dx, Dy)T verschoben wurde: Konstanz der Beleuchtung. Optischer Fluss: Finde ein Vektorfeld (Dx(x,y), Dy(x,y))T, das die opt. Fluss Gleichung löst. Problem: Unterbestimmtheit Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: Durchschnittlich 1024 Pixel/Grauwert. Zusätzliche Einschränkungen nötig: Glattheit des Flussfeldes Kleine Flussvektoren Computer Vision _Seite 70

Bildfolgen: Bewegungsschätzung Optischer Fluss Zusätzliche Einschränkungen: Glattheit des Flussfeldes Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme)  überbestimmtes Gleichungssystem Einschränkung: Dx und Dy klein genug für Abbruch der Taylor-Reihe. Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. g g(x0,t+Dt) Dg g(x0,t) t t+Dt Dx x0 x Computer Vision _Seite 71

Bildfolgen: Bewegungsschätzung Optischer Fluss Computer Vision _Seite 72

Bildfolgen: Bewegungsschätzung Optischer Fluss Computer Vision _Seite 73

Bildfolgen: Bewegungsschätzung Optischer Fluss Berechnungsvorschrift Computer Vision _Seite 74

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Betrachte das „Grauwertgebirge“ eines Bildes: „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Computer Vision _Seite 75

Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Am Boden einer Senke bzw. an der Decke einer Kuppe ist die dritte Ableitung klein. Computer Vision _Seite 76

Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber Bild zur Zeit t1: dx, dy Computer Vision _Seite 77

Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber Bild zur Zeit t1: dx, dy Computer Vision _Seite 78

Erste Stufe der Informationsgewinnung

Ähnliche Präsentationen

Präsentation zum Thema: "Erste Stufe der Informationsgewinnung"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback

Anmelden

Anmeldung über soziales Netzwerk:

Erste Stufe der Informationsgewinnung

Ähnliche Präsentationen

Präsentation zum Thema: "Erste Stufe der Informationsgewinnung"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback