Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

6_Informationsgewinnung_BildSeq Seite 1 Bildfolgen: statische Kamera Bewegte Kamera Merkmale aus Bildfolgen Zeit Original Aufgaben: Detektion sich bewegender.

Ähnliche Präsentationen


Präsentation zum Thema: "6_Informationsgewinnung_BildSeq Seite 1 Bildfolgen: statische Kamera Bewegte Kamera Merkmale aus Bildfolgen Zeit Original Aufgaben: Detektion sich bewegender."—  Präsentation transkript:

1 6_Informationsgewinnung_BildSeq Seite 1 Bildfolgen: statische Kamera Bewegte Kamera Merkmale aus Bildfolgen Zeit Original Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Zeit Aufgaben: Eigenbewegungsschätzung Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster

2 6_Informationsgewinnung_BildSeq Seite 2 Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden beschleunigte Bewegung: gekrümmte Kurven

3 6_Informationsgewinnung_BildSeq Seite 3 Merkmale aus Bildfolgen: 1. Änderungsdetektion Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Dynamik eines Bildpunktes

4 6_Informationsgewinnung_BildSeq Seite 4 Bildfolgen: statische Kamera: Raum-Zeit-Kanten Merkmale aus Bildfolgen: 1. Änderungsdetektion Interpretation einer Bildfolge G t1 (x,y), G t2 (x,y),..., G tN (x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche

5 6_Informationsgewinnung_BildSeq Seite 5 Bildfolgen: statische Kamera: Raum-Zeit-Kanten 3D-Sobel-Oparator Merkmale aus Bildfolgen: 1. Änderungsdetektion

6 6_Informationsgewinnung_BildSeq Seite 6 Bildfolgen: statische Kamera: Raum-Zeit-Kanten Merkmale aus Bildfolgen: 1. Änderungsdetektion Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild

7 6_Informationsgewinnung_BildSeq Seite 7 Bildfolgen: statische Kamera: Bewegungssegmentierung Differenzbildverfahren: Merkmale aus Bildfolgen: 1. Änderungsdetektion Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge

8 6_Informationsgewinnung_BildSeq Seite 8 Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Ein Pixel: Merkmale aus Bildfolgen: 1. Änderungsdetektion g(t) t t t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung

9 6_Informationsgewinnung_BildSeq Seite 9 Konstant mit Rauschen Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Histogramm über M Bilder: Merkmale aus Bildfolgen: 1. Änderungsdetektion H(g) g g g g g Ideal konstant Einmaliges Ereignis Langsame Veränderung Periodische Schwankung gege Änderung, wenn H M (g) < H Schwelle

10 6_Informationsgewinnung_BildSeq Seite 10 Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Vorgehensweise Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): Für jedes Pixel 1. Histogramm über die M letzten Bilder 2. Modellierung des Histogramms als Summe von Gaussfunktionen 3. Aktueller Grauwert in Modell? Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Merkmale aus Bildfolgen: 1. Änderungsdetektion... H(g) g g... Letzte M Bilderaktuelles Bild Histogramm für jedes Pixel In Modell Bewegungssegment-Bild

11 6_Informationsgewinnung_BildSeq Seite 11 Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte. Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) kleiner Öffnungswinkel und kleiner Drehwinkel Merkmale aus Bildfolgen: 2. Bildstabilisierung Feste Szenengegenstände Kamera- drehung  Bildsensor Bild Verschiebung  u f u = f tan  u´ = f tan(  )

12 6_Informationsgewinnung_BildSeq Seite 12 Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames 2. Korrektur der Translation Berechnung z.B. mittels FFT: Merkmale aus Bildfolgen: 2. Bildstabilisierung...  x max  y max Lage des Maximums der Kreuzkorrelationsfunktion:  x max,  y max

13 6_Informationsgewinnung_BildSeq Seite 13 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“ Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition Merkmale aus Bildfolgen: 3. Bewegungsschätzung + Bild zur Zeit t Bild zur Zeit t+  t t+ 

14 6_Informationsgewinnung_BildSeq Seite 14 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“: Prinzip Merkmale aus Bildfolgen : 3. Bewegungsschätzung t t+  Ausschnitt aus Bild zur Zeit t: Template zur Suche im nächsten Bild Suche im Bild zur Zeit t+  : An welcher Stelle „passt“ das Template am besten? Suche beschränkt auf Suchbereich um Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+ , an der das Template der Bildstruktur am Ähnlichsten ist.

15 6_Informationsgewinnung_BildSeq Seite 15 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“: Vorgehen Merkmale aus Bildfolgen : 3. Bewegungsschätzung Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+  ) gleicher Form und Größe von Bild zur Zeit t+ . Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. Ähnlichkeitsmaße: Euklidische Distanz (Unähnlichkeit) Kreuzkorrelation (Ähnlichkeit) t t+ 

16 6_Informationsgewinnung_BildSeq Seite 16 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“: Ähnlichkeitsmaße Merkmale aus Bildfolgen : 3. Bewegungsschätzung -K i, -K j -K i, +K j +K i, -K j +K i, +K j Template „Block“ Verschiebungen  i und  j um Ursprungsposition i,j des Templates Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz:

17 6_Informationsgewinnung_BildSeq Seite 17 Behandlung des „Blendenproblems“: Abhilfe: Eckendetektor nach Harris und Stephens Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“: Auswahl geeigneter Blocks Merkmale aus Bildfolgen : 3. Bewegungsschätzung ? ? ! Beide Flußkomponenten (lokal) nur an „Grauwertecken“ zu schätzen!

18 6_Informationsgewinnung_BildSeq Seite 18 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.„Blockmatching“: Auswahl geeigneter Blocks Merkmale aus Bildfolgen : 3. Bewegungsschätzung Abhilfe: Eckendetektor nach Harris und Stephens „Eckenhaftigkeits“maß E: Berechnung aus Strukturtensor S, wobei sich die Mittelung über ein lokales Fenster erstreckt, z.B. Faltung mit 3x3 Gauss.

19 6_Informationsgewinnung_BildSeq Seite 19 “unstrukturiertes” Gebiet: in keiner Richtung Änderung “Kante”: keine Änderung in Kantenrichtung “Ecke”: Wesentliche Änderungen in alle Richtungen Merkmale aus Bildfolgen : 3. Bewegungsschätzung Grundlegende Idee des Harris und Stephens Detektors

20 6_Informationsgewinnung_BildSeq Seite 20 Fenster- funktion oder w(x,y) = Gauss 1 in Fenster, 0 außerhalb Merkmale aus Bildfolgen : 3. Bewegungsschätzung Intensitätsänderung für eine Verschiebung [u,v] Bilineare Approximation für kleine Verschiebungen [u,v]:

21 6_Informationsgewinnung_BildSeq Seite 21 Merkmale aus Bildfolgen : 3. Bewegungsschätzung Intensitätsänderung E(u,v) im verschobenen Fenster: Eigenvektoren von S sind Achsen maximaler Varianz -> Eigenwertanalyse 1, 2 – Eigenwerte von S Richtung höchster Änderung Richtung niedrigster Änderung ( min ) 1/2 ( max ) 1/2 Ellipse E(u,v) = const

22 6_Informationsgewinnung_BildSeq Seite 22 Merkmale aus Bildfolgen: 3. Bewegungsschätzung 1, 2 – Eigenwerte von S ( min ) 1/2 ( max ) 1/2 Ellipse E(u,v) = const 1 2 “Ecke” 1 und 2 groß, 1 ~ 2 ; E wächst nach allen Richtungen “Kante” 1 >> 2 “Kante” 2 >> 1 “Flaches” Gebiet Klassifikation von Bildpunkten mittels Eigenwerten von M: Abgeleitetes Eckhaftigkeitsmaß R: (k – empirische Konstante, k = ) 1 und 2 klein; E weitgehend konstant in allen Richtungen

23 6_Informationsgewinnung_BildSeq Seite 23 Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels “Cornerness” R: 1 2 “Ecke” “Kante” “unstr.” R hängt nur von den Eigenwerten von M ab. R ist stark positiv für eine Ecke R ist stark negativ für eine Kante |R| ist klein für ein unstrukturiertes Gebiet R > 0 R < 0 |R| klein

24 6_Informationsgewinnung_BildSeq Seite 24 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Betrachte das „Grauwertgebirge“ eines Bildes: „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Merkmale aus Bildfolgen : 3. Bewegungsschätzung Grauwertbild „Grauwertgebirge“

25 6_Informationsgewinnung_BildSeq Seite 25 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Am Boden einer Senke bzw. an der Decke einer Kuppe ist der Gradientenbetrag klein. Merkmale aus Bildfolgen : 3. Bewegungsschätzung

26 6_Informationsgewinnung_BildSeq Seite 26 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Alternative zu Gradientenbetrachtung: Monotonie-Operator (hier Kuppe) Merkmale aus Bildfolgen : 3. Bewegungsschätzung i z, j z i z +  i M, j z +  j M i z +  i M, j z -  j M i z -  i M, j z -  j M i z -  i M, j z +  j M

27 6_Informationsgewinnung_BildSeq Seite 27 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Anwendung von Monotonie-Operatoren Merkmale aus Bildfolgen : 3. Bewegungsschätzung M-Operator-Blob

28 6_Informationsgewinnung_BildSeq Seite 28 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Entfernung von Rauschen und Beleuchtungsinhomogenitäten Bandpass-Filterung Merkmale aus Bildfolgen : 3. Bewegungsschätzung Bandpass Betragsquadrat

29 6_Informationsgewinnung_BildSeq Seite 29 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Anwendung Monotonie-Operator auf bandpass-gefiltertes Bild Merkmale aus Bildfolgen : 3. Bewegungsschätzung Monotonie- Operator

30 6_Informationsgewinnung_BildSeq Seite 30 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Merkmale der Monotonie-Operator-Blobs: Hauptachsen Merkmale aus Bildfolgen : 3. Bewegungsschätzung Hauptachsen- Berechnung

31 6_Informationsgewinnung_BildSeq Seite 31 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Verfolgung der Blobs anhand der Merkmale Merkmale aus Bildfolgen : 3. Bewegungsschätzung t1: bandpass-gefiltert t2: bandpass-gefiltert t1: Blob-Hauptachsen t2: Blob-Hauptachsen

32 6_Informationsgewinnung_BildSeq Seite 32 Bildfolgen: Bewegungsschätzung Optischer Fluss Grundsätzliche Annahme: Pixel zur Zeit t+  T einer Bildsequenz wird modelliert als Pixel zur Zeit t, verschoben um einen Vektor (  x,  y) T : Konstanz der Beleuchtung. Optischer Fluss: Finde ein Vektorfeld (  x(x,y),  y(x,y)) T, das die opt. Fluss Gleichung löst. Problem: Unterbestimmtheit Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel:  Durchschnittlich 1024 Pixel/Grauwert.  Zusätzliche Einschränkungen nötig:  Glattheit des Flussfeldes  Kleine Flussvektoren Merkmale aus Bildfolgen : 3. Bewegungsschätzung

33 6_Informationsgewinnung_BildSeq Seite 33 Bildfolgen: Bewegungsschätzung Optischer Fluss Zusätzliche Einschränkungen:  Glattheit des Flussfeldes  Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme)  überbestimmtes Gleichungssystem Einschränkung:  x und  y klein genug für Abbruch der Taylor-Reihe. Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. Merkmale aus Bildfolgen : 3. Bewegungsschätzung x g t t+  t xx gg g(x 0,t) g(x 0,t+  t) x0x0

34 6_Informationsgewinnung_BildSeq Seite 34 Bildfolgen: Bewegungsschätzung Optischer Fluss Merkmale aus Bildfolgen : 3. Bewegungsschätzung

35 6_Informationsgewinnung_BildSeq Seite 35 Bildfolgen: Bewegungsschätzung Optischer Fluss Merkmale aus Bildfolgen : 3. Bewegungsschätzung

36 6_Informationsgewinnung_BildSeq Seite 36 Bildfolgen: Bewegungsschätzung Optischer Fluss Berechnungsvorschrift Merkmale aus Bildfolgen : 3. Bewegungsschätzung

37 6_Informationsgewinnung_BildSeq Seite 37 Bildfolgen: Bewegungsschätzung Optischer Fluss Behandlung der Beschränkung des Algorithmus auf  x und  y kleiner ein Pixel: Erzeugung einer Gauss´schen Auflösungspyramide: Flussschätzung beginnend in kleinster Auflösung  Flussvektorfeld Warping mit Flussvektorfeld Flussschätzung mit gewarptem Bild in nächster Auflösung, Addition zum alten Flussvektorfeld Merkmale aus Bildfolgen : 3. Bewegungsschätzung Tiefpass-Filterung ¼ f max 2-fache Unterabtastung Tiefpass-Filterung ¼ f max 2-fache Unterabtastung Tiefpass-Filterung ¼ f max 2-fache Unterabtastung

38 6_Informationsgewinnung_BildSeq Seite 38 Bildfolgen: Bewegungsschätzung Optischer Fluss Weitere Methoden: Horn und Schunck: Kombination von „optical flow constraint“ (wie bisher) und Randbedingung „globale Glattheit“ (zusätzlicher Regularisierungsterm)  Minimierung von modifizierter Kostenfunktion: Merkmale aus Bildfolgen : 3. Bewegungsschätzung

39 6_Informationsgewinnung_BildSeq Seite 39 Bildfolgen: Bewegungsschätzung Optischer Fluss Weitere Methoden: Zweite-Ordnung-Methoden, z.B. Nagel Merkmale aus Bildfolgen : 3. Bewegungsschätzung

40 6_Informationsgewinnung_BildSeq Seite 40 Bild 1vertikale Flusskomponente Bild 13horizontale Flusskomponente Bildfolgen: Bewegungsschätzung Optischer Fluss: Beispielberechnungen Merkmale aus Bildfolgen : 3. Bewegungsschätzung

41 6_Informationsgewinnung_BildSeq Seite 41 Bildfolgen: Bewegungsschätzung Optischer Fluss: Beispielberechnungen Merkmale aus Bildfolgen : 3. Bewegungsschätzung Statische Kamera Kamerawackeln


Herunterladen ppt "6_Informationsgewinnung_BildSeq Seite 1 Bildfolgen: statische Kamera Bewegte Kamera Merkmale aus Bildfolgen Zeit Original Aufgaben: Detektion sich bewegender."

Ähnliche Präsentationen


Google-Anzeigen