Merkmale aus Bildfolgen Bildfolgen: statische Kamera Bewegte Kamera Zeit Zeit Original Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Aufgaben: Eigenbewegungsschätzung Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster 6_Informationsgewinnung_BildSeq Seite 1

Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden beschleunigte Bewegung: gekrümmte Kurven 6_Informationsgewinnung_BildSeq Seite 2

Merkmale aus Bildfolgen: 1. Änderungsdetektion Dynamik eines Bildpunktes Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen 6_Informationsgewinnung_BildSeq Seite 3

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche 6_Informationsgewinnung_BildSeq Seite 4

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten 3D-Sobel-Oparator 6_Informationsgewinnung_BildSeq Seite 5

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild 6_Informationsgewinnung_BildSeq Seite 6

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Bewegungssegmentierung Differenzbildverfahren: 1 1 1 -1 Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge 6_Informationsgewinnung_BildSeq Seite 7

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Ein Pixel: g(t) g(t) g(t) t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis g(t) g(t) t t Langsame Veränderung Periodische Schwankung 6_Informationsgewinnung_BildSeq Seite 8

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Histogramm über M Bilder: H(g) H(g) H(g) ge g g g Ideal konstant Konstant mit Rauschen Einmaliges Ereignis H(g) H(g) g g Langsame Veränderung Periodische Schwankung Änderung, wenn HM(g) < HSchwelle 6_Informationsgewinnung_BildSeq Seite 9

Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Vorgehensweise Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): Für jedes Pixel 1. Histogramm über die M letzten Bilder 2. Modellierung des Histogramms als Summe von Gaussfunktionen 3. Aktueller Grauwert in Modell? Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Letzte M Bilder aktuelles Bild ... Bewegungssegment-Bild In Modell In Modell H(g) g ... H(g) g Histogramm für jedes Pixel 6_Informationsgewinnung_BildSeq Seite 10

Feste Szenengegenstände Merkmale aus Bildfolgen: 2. Bildstabilisierung Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte. Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) kleiner Öffnungswinkel und kleiner Drehwinkel Feste Szenengegenstände a Kamera- drehung f Bild Bild f Verschiebung Bildsensor u u´ = f tan(f+a) u = f tanf 6_Informationsgewinnung_BildSeq Seite 11

6_Informationsgewinnung_BildSeq Seite 12 Merkmale aus Bildfolgen: 2. Bildstabilisierung Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames 2. Korrektur der Translation Berechnung z.B. mittels FFT: ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: Dxmax, Dymax 6_Informationsgewinnung_BildSeq Seite 12

6_Informationsgewinnung_BildSeq Seite 13 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“ Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition t + Bild zur Zeit t Bild zur Zeit t+D t+D 6_Informationsgewinnung_BildSeq Seite 13

6_Informationsgewinnung_BildSeq Seite 14 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Prinzip t t+D t+D Ausschnitt aus Bild zur Zeit t: Template zur Suche im nächsten Bild Suche im Bild zur Zeit t+D: An welcher Stelle „passt“ das Template am besten? Suche beschränkt auf Suchbereich um Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+D, an der das Template der Bildstruktur am Ähnlichsten ist. 6_Informationsgewinnung_BildSeq Seite 14

6_Informationsgewinnung_BildSeq Seite 15 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Vorgehen t t+D Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+D) gleicher Form und Größe von Bild zur Zeit t+D. Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. Ähnlichkeitsmaße: Euklidische Distanz (Unähnlichkeit) Kreuzkorrelation (Ähnlichkeit) 6_Informationsgewinnung_BildSeq Seite 15

6_Informationsgewinnung_BildSeq Seite 16 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Ähnlichkeitsmaße -Ki, -Kj +Ki, -Kj Template „Block“ Verschiebungen di und dj um Ursprungsposition i,j des Templates -Ki, +Kj +Ki, +Kj Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz: 6_Informationsgewinnung_BildSeq Seite 16

6_Informationsgewinnung_BildSeq Seite 17 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Auswahl geeigneter Blocks Behandlung des „Blendenproblems“: Abhilfe: Eckendetektor nach Harris und Stephens ? Beide Flußkomponenten (lokal) nur an „Grauwertecken“ zu schätzen! ! ? 6_Informationsgewinnung_BildSeq Seite 17

6_Informationsgewinnung_BildSeq Seite 18 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen „Blockmatching“: Auswahl geeigneter Blocks Abhilfe: Eckendetektor nach Harris und Stephens „Eckenhaftigkeits“maß E: Berechnung aus Strukturtensor S, wobei sich die Mittelung über ein lokales Fenster erstreckt, z.B. Faltung mit 3x3 Gauss. 6_Informationsgewinnung_BildSeq Seite 18

Merkmale aus Bildfolgen : 3. Bewegungsschätzung Grundlegende Idee des Harris und Stephens Detektors “unstrukturiertes” Gebiet: in keiner Richtung Änderung “Kante”: keine Änderung in Kantenrichtung “Ecke”: Wesentliche Änderungen in alle Richtungen 6_Informationsgewinnung_BildSeq Seite 19

Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung für eine Verschiebung [u,v] Fenster- funktion w(x,y) = oder Gauss 1 in Fenster, 0 außerhalb Bilineare Approximation für kleine Verschiebungen [u,v]: 6_Informationsgewinnung_BildSeq Seite 20

Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung E(u,v) im verschobenen Fenster: Eigenvektoren von S sind Achsen maximaler Varianz -> Eigenwertanalyse 1, 2 – Eigenwerte von S Richtung niedrigster Änderung Richtung höchster Änderung Ellipse E(u,v) = const (min)1/2 (max)1/2 6_Informationsgewinnung_BildSeq Seite 21

Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels Eigenwerten von M: 2 (min)1/2 “Kante” 2 >> 1 (max)1/2 “Ecke” 1 und 2 groß, 1 ~ 2; E wächst nach allen Richtungen 1, 2 – Eigenwerte von S Ellipse E(u,v) = const Abgeleitetes Eckhaftigkeitsmaß R: “Kante” 1 >> 2 “Flaches” Gebiet 1 1 und 2 klein; E weitgehend konstant in allen Richtungen (k – empirische Konstante, k = 0.04-0.06) 6_Informationsgewinnung_BildSeq Seite 22

Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels “Cornerness” R: 2 “Kante” R hängt nur von den Eigenwerten von M ab. R ist stark positiv für eine Ecke R ist stark negativ für eine Kante |R| ist klein für ein unstrukturiertes Gebiet R < 0 “Ecke” R > 0 “unstr.” “Kante” |R| klein R < 0 1 6_Informationsgewinnung_BildSeq Seite 23

6_Informationsgewinnung_BildSeq Seite 24 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Betrachte das „Grauwertgebirge“ eines Bildes: „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Grauwertbild „Grauwertgebirge“ 6_Informationsgewinnung_BildSeq Seite 24

6_Informationsgewinnung_BildSeq Seite 25 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Am Boden einer Senke bzw. an der Decke einer Kuppe ist der Gradientenbetrag klein. 6_Informationsgewinnung_BildSeq Seite 25

6_Informationsgewinnung_BildSeq Seite 26 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Alternative zu Gradientenbetrachtung: Monotonie-Operator (hier Kuppe) iz, jz iz + DiM , jz + DjM iz + DiM , jz - DjM iz - DiM , jz - DjM iz - DiM , jz + DjM 6_Informationsgewinnung_BildSeq Seite 26

6_Informationsgewinnung_BildSeq Seite 27 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Anwendung von Monotonie-Operatoren M-Operator-Blob 6_Informationsgewinnung_BildSeq Seite 27

6_Informationsgewinnung_BildSeq Seite 28 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Entfernung von Rauschen und Beleuchtungsinhomogenitäten Bandpass-Filterung Bandpass Betragsquadrat 6_Informationsgewinnung_BildSeq Seite 28

6_Informationsgewinnung_BildSeq Seite 29 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Anwendung Monotonie-Operator auf bandpass-gefiltertes Bild Monotonie- Operator 6_Informationsgewinnung_BildSeq Seite 29

6_Informationsgewinnung_BildSeq Seite 30 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Merkmale der Monotonie-Operator-Blobs: Hauptachsen Hauptachsen- Berechnung 6_Informationsgewinnung_BildSeq Seite 30

6_Informationsgewinnung_BildSeq Seite 31 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Verfolgung der Blobs anhand der Merkmale t1: Blob-Hauptachsen t1: bandpass-gefiltert t2: bandpass-gefiltert t2: Blob-Hauptachsen 6_Informationsgewinnung_BildSeq Seite 31

6_Informationsgewinnung_BildSeq Seite 32 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Grundsätzliche Annahme: Pixel zur Zeit t+DT einer Bildsequenz wird modelliert als Pixel zur Zeit t, verschoben um einen Vektor (Dx, Dy)T: Konstanz der Beleuchtung. Optischer Fluss: Finde ein Vektorfeld (Dx(x,y), Dy(x,y))T, das die opt. Fluss Gleichung löst. Problem: Unterbestimmtheit Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: Durchschnittlich 1024 Pixel/Grauwert. Zusätzliche Einschränkungen nötig: Glattheit des Flussfeldes Kleine Flussvektoren 6_Informationsgewinnung_BildSeq Seite 32

6_Informationsgewinnung_BildSeq Seite 33 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Zusätzliche Einschränkungen: Glattheit des Flussfeldes Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme)  überbestimmtes Gleichungssystem Einschränkung: Dx und Dy klein genug für Abbruch der Taylor-Reihe. Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. g g(x0,t+Dt) Dg g(x0,t) t t+Dt Dx x0 x 6_Informationsgewinnung_BildSeq Seite 33

6_Informationsgewinnung_BildSeq Seite 34 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 34

6_Informationsgewinnung_BildSeq Seite 35 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 35

6_Informationsgewinnung_BildSeq Seite 36 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Berechnungsvorschrift 6_Informationsgewinnung_BildSeq Seite 36

6_Informationsgewinnung_BildSeq Seite 37 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Behandlung der Beschränkung des Algorithmus auf Dx und Dy kleiner ein Pixel: Erzeugung einer Gauss´schen Auflösungspyramide: Flussschätzung beginnend in kleinster Auflösung  Flussvektorfeld Warping mit Flussvektorfeld Flussschätzung mit gewarptem Bild in nächster Auflösung, Addition zum alten Flussvektorfeld Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung 6_Informationsgewinnung_BildSeq Seite 37

6_Informationsgewinnung_BildSeq Seite 38 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Weitere Methoden: Horn und Schunck: Kombination von „optical flow constraint“ (wie bisher) und Randbedingung „globale Glattheit“ (zusätzlicher Regularisierungsterm)  Minimierung von modifizierter Kostenfunktion: 6_Informationsgewinnung_BildSeq Seite 38

6_Informationsgewinnung_BildSeq Seite 39 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss Weitere Methoden: Zweite-Ordnung-Methoden, z.B. Nagel 6_Informationsgewinnung_BildSeq Seite 39

6_Informationsgewinnung_BildSeq Seite 40 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss: Beispielberechnungen Bild 1 vertikale Flusskomponente Bild 13 horizontale Flusskomponente 6_Informationsgewinnung_BildSeq Seite 40

6_Informationsgewinnung_BildSeq Seite 41 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Bildfolgen: Bewegungsschätzung Optischer Fluss: Beispielberechnungen Kamerawackeln Statische Kamera 6_Informationsgewinnung_BildSeq Seite 41