Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Bestimmt Art Modifiziert Bildauswertung Parameterschätzung, Klassifikation Modellausprägungen (Parametersätze) Modellelemente Modellwelt Bestimmt Art Projektion Modellwelt-Bild Merkmale, Primitive Signal- verarbeitung Synthese Synthetisches Bild, Szenenskizze Verfahren extrahieren Digitalisiertes Bild Bildsensor Display Computer Vision 4_Seite 1

Bildmerkmale Informationsgewinnung Objektberandung Grauwertunterschiede Lokalisierung (Geometrie) Texturunterschiede Segmentierung Freiheitsgrade Form Oberflächeneigenschaft Grauwert Klassifikation (Radiometrie) Textur Modellähnlichkeit Klassifikation (geometrisch, radiometrisch) Kanten- operator Merkmal 1- Bild N Kanten- bilder Merkmal 1 - Operator Bild . . . Merkmal N - Operator Merkmal N- Bild N Fleck- bilder Fleck- operator Computer Vision 4_Seite 2

Videokamera Diskrete Signale Aliasing räumlich und zeitlich: Signale halbe Abtastfrequenz! Abstandsmaße im diskreten Gitter Euklidische Distanz City-block-Distanz Schachbrett-Distanz Computer Vision 4_Seite 3

Merkmale Informationsgewinnung Textur-Deskriptoren Texturelle Statistische Fourier Berandungsdeskriptoren Einfache shape numbers Momente Regionale Deskriptoren Topologische Computer Vision 4_Seite 4

Merkmale Informationsgewinnung Grauwert-Deskriptoren: Textur Keine formale Beschreibung von Textur. Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc. Drei Ansatzpunkte zur Beschreibung von Textur: Statistisch: glatt, rauh, körnig,grob Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien) Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum periodisch homogen Rauh fraktal Computer Vision 4_Seite 5

Merkmale Informationsgewinnung Textur: Statistische Ansätze . 0 255 g h homogen . Rauh fraktal h 0 255 g 1. Auswertung des Histogramms des durch die Maske definierten Bildbereichs Computer Vision 4_Seite 6

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente des Grauwerthistogramms Wenn L die Anzahl der Grauwerte ist und h(gi) das Histogramm in der Maske, so sind die n-ten Momente: Das zweite Moment heisst Varianz und wird mit s² bezeichnet. Es ist ein Maß des Grauwertkontrasts. Z.B. ist R=0 für konstanten Grauwert und geht gegen 1 für große s. n=3: Skewness des Histogramms n=4: relative Plattheit des Histogramms 0 255 g h h 0 255 g Computer Vision 4_Seite 7

Merkmale Informationsgewinnung Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der Pixel zueinander (Phase). Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert: Coocurrence-Matrix. Positionsoperator Pk,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l). Anzahl der unterschiedlichen Grauwerte G Matrix A mit GxG Elementen ai,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j. Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen. Beispiel: G=3: g e {0,1,2}; Positionsoperator P1,1 Angewendet auf das Bild Ergibt die und damit Matrix Cooccurrence Matrix ci,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit, dass ein Paar von Punkten, das P erfüllt die Werte i,j hat. Computer Vision 4_Seite 8

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Coocurrence-Matrix Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur gewonnen werden. Eine solche Menge von Deskriptoren ist z.B.: (1) Maximale Wahrscheinlichkeit Stärkste Antwort auf P (2) Moment der Elemente-Differenz der Ordnung k relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag. (3) Moment der inversen Elemente-Differenz der Ordnung k Gegenteiliger Effekt wie (2) (4) Entropie Maß für die Unordnung (5) Gleichförmigkeit Entgegengesetzt zu (4) Computer Vision 4_Seite 9

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Vereinfachung gegenüber Coocurrence-Matrix Bildfenster gleicher Größe, deren Mitte um du und dv gegeneinander verschoben ist: {gm´,n´ } = {gm+du, n+dv }, m = 1, ... ,M; n = 1, ... ,N Summen und Differenzen der Grauwerte: Summen- und Differenzhistogramme: Computer Vision 4_Seite 10

Merkmale Informationsgewinnung gm+du,n+dv X du dv gm,n X sm,n = gm,n + gm+du,n+dv dm,n = gm,n - gm+du,n+dv X X hs hd 0 i 0 i Computer Vision 4_Seite 11

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Maße aus den normierten Histogrammen: können berechnet werden für verschiedene du und dv, meist (1,0), (1,1), (0,1), (-1,0) Computer Vision 4_Seite 12

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q): für p,q = 0,1,2,... Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt. Die Menge aller Momente bestimmt seinerseits f(x,y). Zentrale Momente Für ein digitales Bild wird daraus Um Schwerpunkt verschoben: translationsinvariant Computer Vision 4_Seite 13

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente Zentrale Momente bis zur Ordnung 3: Skaleninvarianz durch Normierung Normierte zentrale Elemente: Computer Vision 4_Seite 14

Merkmale Informationsgewinnung Textur: Statistische Ansätze: Invariante Momente Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten: Translations-, rotations- und skaleninvariant Computer Vision 4_Seite 15

Merkmale Informationsgewinnung Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen Quelle: Handbook of Computer Vision Computer Vision 4_Seite 16

Segmentierung Informationsgewinnung Detektion von Diskontinuitäten Kanten Linien Punkte Detektion von Ähnlichkeiten Computer Vision 4_Seite 17

Segmentierung Detektion von Diskontinuitäten Kanten Grauwertprofil erste Ableitung zweite Ableitung (Gradient) (Laplace) Computer Vision 4_Seite 18

Bildmerkmale Merkmal Gradient Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann treten an Objektgrenzen starke Gradienten auf. Grauwertbild Gradientenbild Computer Vision 4_Seite 19

Bildmerkmale Merkmal Gradient Betrag gibt Stärke des Grauwertübergangs. Rotationsinvariant Invariant gegen homogene GW-Änderungen Phase gibt Richtung. Diskretisierung im Bild -> Differenzenquotienten Computer Vision 4_Seite 20

Bildmerkmale Merkmal Gradient Diskretisierung im Bild -> Differenzenquotienten Rückwärts-x- Gradient –Dx Vorwärts-x- Gradient +Dx Symmetrischer-x- Gradient SDx Ergibt Faltungsmaske Analog y, z.B.: Computer Vision 4_Seite 21

Bildmerkmale Eindimensional, diskret 2D, diskret 2D, kontinuierlich Erinnerung: Faltung g(m) K(m) m=17 Eindimensional, diskret 2D, diskret 2D, kontinuierlich Computer Vision 4_Seite 22

Bildmerkmale 2D, diskret, endl. Faltungskern Erinnerung: Faltung 2D, diskret, endl. Faltungskern Bild {gm,n}, 0 £ m £ M, 0 £ n £ N Faltungskern {Km,n} g1,1 g1,2 g1,3 g1,4 g1,5 g1,6 g1,7 g1,8 g1,9 ... g2,1 g2,2 g2,3 g2,4 g2,5 g2,6 g2,7 g2,8 g2,9 g3,1 g3,2 g3,3 g3,4 g3,5 g3,6 g3,7 g3,8 g3,9 g4,1 g4,2 g4,3 g4,4 g4,5 g4,6 g4,7 g4,8 g4,9 g5,1 g5,2 g5,3 g5,4 g5,5 g5,6 g5,7 g5,8 g5,9 g6,1 g6,2 g6,3 g6,4 g6,5 g6,6 g6,7 g6,8 g6,9 g7,1 g7,2 g7,3 g7,4 g7,5 g7,6 g7,7 g7,8 g7,9 g8,1 g8,2 g8,3 g8,4 g8,5 g8,6 g8,7 g8,8 g8,9 g9,1 g9,2 g9,3 g9,4 g9,5 g9,6 g9,7 g9,8 g9,9 .... K-1,-1 K-1,0 K-1 1 K0,-1 X K0,0 K0,1 K1,-1 K1,0 K1,1 Beispiel: m = 4, n = 4, mhs=0 Jk = 1, Kk = 1, nhs=0 K-1,-1 K-1,0 K-1 1 K0,-1 X K0,0 K0,1 K1,-1 K1,0 K1,1 Computer Vision 4_Seite 23

Bildmerkmale Merkmal Gradient Einige gängige Gradienten-Operatoren: Roberts Prewitt Sobel Isotrop Computer Vision 4_Seite 24

Bildmerkmale Merkmal Gradient Gradienten-Operatoren verstärken Rauschen: Vorzugsweise Operatoren mit Glättungseigenschaften Sobel Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung Gaussfunktion Computer Vision 4_Seite 25

Bildmerkmale Merkmal Gradient Faltung mit der Ableitung der Gaussfunktion: Canny-Filter Separierbar in x und y Computer Vision 4_Seite 26

Bildmerkmale Merkmal Laplace Laplace-Operator einer 2-dimensionalen Funktion f(x,y): Im Fall einer diskreten 3x3-Maske: Laplace-Operatoren verstärken Rauschen: Glättung mit Gauss-Funktion Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten. Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten. 2s Hildreth-Marr- oder Mexican Hat-Operator Computer Vision 4_Seite 27

Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter 2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung 0° 45° 90° 135° 180° 225° 270° 315° Gradienten-Richtung in M Maximumbedingung 1°...22°, 158°...202°, 338°...360° b(A) £ b(M) und b(E) £ b(M) 23°...67°, 203°...247° b(B) £ b(M) und b(F) £ b(M) 68°...112°, 248°...292° b(C) £ b(M) und b(G) £ b(M) 113°...157°, 293°...337° b(D) £ b(M) und b(H) £ b(M) Wenn M Maximum, trage in Ergebnisbild Betrag und Richtung ein, sonst 0. Computer Vision 4_Seite 28

Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Betrag Richtung Computer Vision 4_Seite 29

Konturextraktion Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision 4_Seite 30

Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Betrag Richtung Computer Vision 4_Seite 31

Konturextraktion Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision 4_Seite 32

Konturextraktion Kantenpixel-Verkettung Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten Leider nicht immer Objektränder: Zusätzliche Struktur und Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten.  Daher weitere Verarbeitung zur Zusammenstellung von Kantenpixelkandidaten zu Rändern. 1. Unterdrückung zusätzlicher Strukturen: I.A. kleiner Gradientenbetrag Vorgehen: Zwei Schwellen zur Unterdrückung: Größere Schwelle zur Filterung ausgeprägter Konturpunkte Dort Verfolgung der Kontur mit kleinerer Schwelle Computer Vision 4_Seite 33

Konturextraktion 2. Verdünnung auf pixelbreite Strukturen: Durch Diskretisierung bis zu 3 Pixel breite Strukturen. Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix) 3. Lokale Verarbeitung: Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen Kandidaten: Alle ähnlichen Kandidaten werden verbunden.  Rand von Pixeln ähnlicher Eigenschaft. Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung Computer Vision 4_Seite 34

Bildsegmentierung durch Schwellwerte Histogramm-Auswertung Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt: Histogrammsegmentierung Merkmalsbild Hintergrund Objekt Segmentierung Anzahl Bildpunkte g(x,y) H(x,y)=0, wenn g(x,y) £ T H(x,y)=1, wenn g(x,y) > T Helligkeit (Grauwert) Schwelle T Computer Vision 4_Seite 35

Bildsegmentierung durch Schwellwerte Auffinden der Schwelle mittels Histogramm-Auswertung (1) Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z für Objekt pO(z) und Hintergrund pH(z) mit a priori Auftrittswahrscheinlichkeiten von Objektpunkten PO und Hintergrundpunkten PH. Bedingung PO + PH = 1. Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = PO pO(z) + PH pH(z) Im Gauss´schen Fall: Computer Vision 4_Seite 36

Bildsegmentierung durch Schwellwerte Auffinden der Schwelle mittels Histogramm-Auswertung (2) Wahrscheinlichkeit einer Fehlzuordnung E: Minimierung von E Gauss´sche pO und pH: Einsetzen, logarithmieren und vereinfachen ergibt quadratische Gleichung mit Computer Vision 4_Seite 37

Bildsegmentierung durch Schwellwerte Auffinden der Schwelle mittels Histogramm-Auswertung (3) Vorgehen nach obiger Methode: Trainingsstichprobe Bildmaterial Histogramm für Objektpixel hO Histogramm für Hintergrundpixel hH Berechnung von sO und mO aus hO Berechnung von sH und mH aus hH Berechnung von A, B und C: Berechnung der Schwelle durch Lösung der quadratischen Gleichung Anwenden der Schwelle auf neues Bildmaterial Computer Vision 4_Seite 38

Darstellung und Beschreibung Darstellung der Objekt-Berandung: Ketten-Code Kettencode-Erstellung: Folge der Richtungen entlang der Kontur ab beliebigem Startpunkt. Beispiel: 22110067665654323 Anfangspunktinvarianz 1. Startpunkt-Normierung: Verschiebe zirkular so, dass die Sequenz eine Zahl minimaler Größe bildet. Beispiel: 22110067665654323  00676656543232211 Rotationsinvarianz 2. Rotationsnormierung: Erste Differenz: Anzahl der Richtungen, die zwei aufeinanderfolgende Elemente des Codes trennen. Beispiel: 22110067665654323  07070617071777717 Anfangspunkt- und Rotationsinvarianz Kettencode  Rotationsnormierung  Startpunktnormierung Beispiel: 22110067665654323  07070617071777717  06170717777170707 x X 6 1 7 1 2 2 1 2 3 4 5 6 7 2 3 1 1 2 7 4 3 6 4 5 5 7 6 Computer Vision 4_Seite 39

Darstellung und Beschreibung Darstellung der Objekt-Berandung: Polygon-Approximationen Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit. Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst kleiner Anzahl an Segmenten. Nicht-triviales Problem iterativer Suche. Einfache Methode für Polygone mit minimalem Umfang: Bedeckung Randkurve mit rechtwinklig angeordneten Quadraten 2. Gerade Verbindungen der Außenecken des „Quadrate-schlauches“ Computer Vision 4_Seite 40

Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Polardarstellung r q Schwerpunkt A r q Schwerpunkt A r r A/Ö2 A/2 A/2 q q 2p p/2 p 3p/2 2p p/2 p 3p/2 Computer Vision 4_Seite 41

Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Momente 1. Umwandlung einer Berandung in eine 2. Berechnung Momente der Kurve eindimensionale Kurve (z.B. Polardarst.) r q Schwerpunkt A r A/Ö2 A/2 q p/2 p 3p/2 2p Computer Vision 4_Seite 42

Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1 Als komplexe Zahl: u(s) = x(s) + iy(s) L-periodisch für geschlossene Konturen. DFT: a(k): Fourier-Deskriptoren der Berandung. Transformationseigenschaften: Identität u(s) -> a(k) Translation u´(s) = u(s)+u0 -> a´(k) = a(k)+ u0d(k) Skalierung u´(s) = au(s) -> a´(k) = aa(k) Anfangspunkt u´(s) = u(s-s0) -> a´(k) = a(k) exp(-i2ps0k/L) Rotation u´(s) = u(s) exp(i2q) -> a´(k) = a(k) exp(i2q) Computer Vision 4_Seite 43

Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren Randkurven u(s) und v(s) mit a(k) und b(k): Ist für mittelwertfreie u(s) und v(s) erfüllt, wenn d(f) kann für jedes f = f (s0) berechnet werden. Das Minimum ergibt dann d, welches dann ein Ähnlichkeitsmaß für die Formen ist. Computer Vision 4_Seite 44

Darstellung im Frequenzraum Ortsraum - Frequenzraum Signale können als Überlagerung (Summe) periodischer Funktionen mit Frequenzen w und mit Amplituden F dargestellt werden: Transformation in Frequenzraum Diskrete Fourier-(Rück)Transformation Frequenzraum-Darstellung gibt an, mit welcher Häufigkeit jeweils periodische Funktionen vorkommen. Cosinus Funktionen Sinus Funktionen y(x) Computer Vision 4_Seite 45

Darstellung im Frequenzraum Ortsraum - Frequenzraum Im Frequenzraum sind viele Operationen günstiger. Alle linearen Operationen z.B. Hochpass, Tiefpass, Bandpass und Bandsperre mit hoher Güte Erkennung periodischer Strukturen Manipulation periodischer Strukturen Nach einer Bearbeitung im Frequenzraum Fe(k)→Fe~(k) und Fo(k)→Fo~(k) kann wieder in den Ortsraum zurück transformiert werden. Analyse: Transformation Ortsraum  Frequenzraum Signal y im Ortsraum, Abtastwerte y(i) Synthese: Transformation Frequenzraum  Ortsraum Computer Vision 4_Seite 46

Komplexe Schreibweise Darstellung im Frequenzraum Ortsraum – Frequenzraum Polare Notation – komplexe Schreibweise F(k) Amplitude (Magnitude) Fo(k) |F(k)| F Phase Fe(k) Komplexe Schreibweise Computer Vision 4_Seite 47

Darstellung im Frequenzraum Ortsraum – Frequenzraum Filterung der abgetasteten Funktion y: Analyse Multiplikation mit Filterfunktion Synthese Filterfunktion, Abtastwerte f(k) Computer Vision 4_Seite 48

Darstellung im Frequenzraum Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision 4_Seite 49

Darstellung im Frequenzraum Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision 4_Seite 50

Darstellung im Frequenzraum Ortsraum – Frequenzraum Bezüglich Fourier-Transformation invariante Funktionen Aus: Handbook of Computer Vision Computer Vision 4_Seite 51

Darstellung im Frequenzraum Ortsraum – Frequenzraum Wichtige Fourier-Transformationspaare Aus: Handbook of Computer Vision Computer Vision 4_Seite 52

Darstellung im Frequenzraum Ortsraum – Frequenzraum 2-Dimensionale diskrete Fourier-Transformation Computer Vision 4_Seite 53

Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Umschreibendes Rechteck (Bounding box) Große Halbachse: Gerade, welche die am weitesten entfernten Punkte der Objektberandung verbindet. Kleine Halbachse: Zur großen Halbachse senkrechte kürzeste Gerade, so dass die Objektberandung im damit gebildeten Rechteck liegt. Exzentrizität: Verhältnis von großer zu kleiner Halbachse Computer Vision 4_Seite 54

Merkmale aus Bildfolgen Bildfolgen: statische Kamera Bewegte Kamera Zeit Zeit Original Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Aufgaben: Eigenbewegungsschätzung Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Computer Vision 4_Seite 55

Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden Beschleunigte Bewegung: gekrümmte Kurven Computer Vision 4_Seite 56

Merkmale aus Bildfolgen Dynamik eines Bildpunktes Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Computer Vision 4_Seite 57

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Raum-Zeit-Kanten Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild Computer Vision 4_Seite 58

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Raum-Zeit-Kanten Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche Computer Vision 4_Seite 59

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Bewegungssegmentierung Differenzbildverfahren: 1 1 1 -1 Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge Computer Vision 4_Seite 60

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Ein Pixel: g(t) g(t) g(t) t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis g(t) g(t) t t Langsame Veränderung Periodische Schwankung Computer Vision 4_Seite 61

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Histogramm über M Bilder: H(g) H(g) H(g) ge g g g Ideal konstant Konstant mit Rauschen Einmaliges Ereignis H(g) H(g) g g Langsame Veränderung Periodische Schwankung Änderung, wenn HM(g) < HSchwelle Computer Vision 4_Seite 62

Merkmale aus Bildfolgen Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Vorgehensweise Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): Für jedes Pixel 1. Histogramm über die M letzten Bilder 2. Modellierung des Histogramms als Summe von Gaussfunktionen 3. Aktueller Grauwert in Modell? Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Letzte M Bilder aktuelles Bild ... Bewegungssegment-Bild In Modell In Modell H(g) g ... H(g) g Histogramm für jedes Pixel Computer Vision 4_Seite 63

Feste Szenengegenstände Merkmale aus Bildfolgen Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte. Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) Feste Szenengegenstände F Kamera- drehung Bild Bild Verschiebung Bildsensor Computer Vision 4_Seite 64

... ... Merkmale aus Bildfolgen Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames 2. Korrektur der Translation Berechnung z.B. mittels FFT: ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: Dxmax, Dymax Computer Vision 4_Seite 65

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“ Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition t + Bild zur Zeit t Bild zur Zeit t+D t+D Computer Vision 4_Seite 66

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Prinzip t t+D t+D Ausschnitt aus Bild zur Zeit t: Template zur Suche im nächsten Bild Suche im Bild zur Zeit t+D: An welcher Stelle „passt“ das Template am besten? Suche beschränkt auf Suchbereich um Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+D, an der das Template der Bildstruktur am Ähnlichsten ist. Computer Vision 4_Seite 67

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Vorgehen t t+D Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+D) gleicher Form und Größe von Bild zur Zeit t+D. Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. Ähnlichkeitsmaße: Euklidische Distanz (Unähnlichkeit) Kreuzkorrelation (Ähnlichkeit) Computer Vision 4_Seite 68

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Ähnlichkeitsmaße -Ki, -Kj +Ki, -Kj Template „Block“ Verschiebungen di und dj um Ursprungsposition i,j des Templates -Ki, +Kj +Ki, +Kj Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz: Computer Vision 4_Seite 69

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Optischer Fluss Grundsätzliche Annahme: Jedes Pixel zur Zeit t+1 einer Bildsequenz kann modelliert werden als ein Pixel zur Zeit t, das um einen Vektor (Dx, Dy)T verschoben wurde: Konstanz der Beleuchtung. Optischer Fluss: Finde ein Vektorfeld (Dx(x,y), Dy(x,y))T, das die opt. Fluss Gleichung löst. Problem: Unterbestimmtheit Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: Durchschnittlich 1024 Pixel/Grauwert. Zusätzliche Einschränkungen nötig: Glattheit des Flussfeldes Kleine Flussvektoren Computer Vision 4_Seite 70

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Optischer Fluss Zusätzliche Einschränkungen: Glattheit des Flussfeldes Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme)  überbestimmtes Gleichungssystem Einschränkung: Dx und Dy klein genug für Abbruch der Taylor-Reihe. Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. g g(x0,t+Dt) Dg g(x0,t) t t+Dt Dx x0 x Computer Vision 4_Seite 71

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Optischer Fluss Computer Vision 4_Seite 72

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Optischer Fluss Computer Vision 4_Seite 73

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Optischer Fluss Berechnungsvorschrift Computer Vision 4_Seite 74

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Betrachte das „Grauwertgebirge“ eines Bildes: „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Computer Vision 4_Seite 75

Merkmale aus Bildfolgen Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Am Boden einer Senke bzw. an der Decke einer Kuppe ist die dritte Ableitung klein. Computer Vision 4_Seite 76

Merkmale aus Bildfolgen Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber Bild zur Zeit t1: dx, dy Computer Vision 4_Seite 77

Merkmale aus Bildfolgen Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber Bild zur Zeit t1: dx, dy Computer Vision 4_Seite 78