Die Aufgaben der Bildauswertung Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation (Klassifikation) Analyse TODO Berücksichtigung des zeitlichen Zusammenhangs der einzelnen Bilder: Bildfolgenauswertung Computer Vision 1_Seite 1

Informationsgewinnung Bildfolgen Informationsgewinnung Statische Kamera Bewegte Kamera Zeit Zeit Aufgaben: Detektion sich bewegender Objekte Lokalisierung sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand von Bewegungsmustern Eigenbewegungsschätzung Aufgaben: Detektion sich bewegender Objekte Lokalisierung sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand von Bewegungsmustern Wie kann die Information über Bewegung in ein System eingebracht werden? Computer Vision 1_Seite 2

Interpretationszyklus für Bildfolgen Szeneninterpretation Die Nutzung der Mehrinformation (aus Bildfolgen) geht an zwei Stellen ein: Generische zeitliche Beschreibung Signalverarbeitung (genauer: Merkmalsextraktion) Generische räumliche Beschreibung Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 Generische zeitliche Beschreibung (parametrisierte Modelle für Objekt-, Szenen-, Beleuchtungs-, Sensordynamik) . . . Prädiktion Computer Vision 1_Seite 3

Bildfolgen: Raum-Kanten Informationsgewinnung Raumkantenbild Grauwertbild Flugzeug- Modell Raumkanten Raum-Zeit-Kantenbild Original Raum-Zeit-Kanten Computer Vision 1_Seite 4

Bildfolgen: Raum-Kanten Informationsgewinnung Beispiel für Raum-Zeit-Kanten: Infrarotbild (Luftbild) eines Ausschnitts der Meeresoberfläche Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Computer Vision 1_Seite 5

Bildfolgen: Raum-Kanten Informationsgewinnung Bildstapel: Im Bildstapel statischer Kameras ergeben statische Objektpunkte: senkrechte Geraden und bewegte Bildpunkte mit gleichförmiger Bewegung: geneigte Geraden beschleunigter Bewegung: gekrümmte Geraden Computer Vision 1_Seite 6

Bildfolgen: Bewegungssegmentierung Informationsgewinnung Differenzbild Empfindlich gegen Beleuchtungsänderungen Rauschen Periodische Vorgänge / Muster Abhilfe: Betrachte mehr als ein Bild aus der Vergangenheit Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Computer Vision 1_Seite 7

Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: Betrachte die letzten M Bilder für jeden Bildpunkt einzeln (x,y): g(t) = g(x,y,t) Eine bewegungsbedingte Änderung im Bildpunkt (x,y) zeigt sich z.B. als „Sprung“. Liegt keine Änderung vor, so sind die Grauwerte „konstant“. g(t) Konstant mit Rauschen t g(t) Einmaliges Ereignis t Computer Vision 1_Seite 8

Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: g(t) g(t) g(t) g(t) g(t) t t t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung h(q) q ge Histogrammbildung Computer Vision 1_Seite 9

Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: Anpassen einer Summe von N Gaußfunktionen (= Modellierung der Grauwerthistorie): Für ein aktuelles Bild: Entscheidung für eine Änderung, wenn für den aktuellen Grauwert g gilt: h(q) h(q) h(q) h(q) h(q) ge q q q q q Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung Computer Vision 1_Seite 10

Bildfolgen: Bewegungssegmentierung Informationsgewinnung Übersicht: Für jeden Bildpunkt: Berechnung des Histogramms aus den M letzten Bildern. Modellierung des Histogramms durch Summe von Gaußfunktionen Gilt für den aktuellen Grauwert g: ? Nein: Eintrag als Hintergrundbildpunkt (z.B. 0) Ja: Eintrag als (Bewegt-) Objektbildpunkt (z.B. 1) Letzte M Bilder aktuelles Bild ... Bewegungssegment-Bild Im Modell Im Modell ... Histogramm für jedes Pixel Computer Vision 1_Seite 11

Bildfolgen: Bewegungsschätzung Informationsgewinnung Verfolgung von Merkmalen durch Blockmatching (Schablonenanpassung) t + Bild zur Zeit t Bild zur Zeit t+t t+ t Computer Vision 1_Seite 12

Bildfolgen: Bewegungsschätzung Das Prinzip der Schablonenanpassung Bild zur Zeit t Bild zur Zeit t+t Bild zur Zeit t+t An welcher Stelle „passt“ die Schablone am besten? Die Suche wird beschränkt auf den Suchbereich um die Schablonenposition im Bild zur Zeit t. Schablone zur Suche im nächsten Bild ausschneiden. Die Position im Bild zur Zeit t+D, an der die Schablone der Bildstruktur am Ähnlichsten ist. Für die Suche nach der optimalen Position wird ein Ähnlichkeitsmaß benötigt! Computer Vision 1_Seite 13

Bildfolgen: Ähnlichkeitsmaße Informationsgewinnung Lokale Ähnlichkeitsmaße zwischen einem Bild g der Größe BxH und einer Schablone h: Euklidische Distanz: City-Block-Distanz: Kreuzkorrelation: Schablone h: Position (m,n)=(4,3) Bild g Computer Vision 1_Seite 14

Bildfolgen: Normierte Kreuzkorrelation Informationsgewinnung Die Normierung der Kreuzkorrelation bezüglich der Bildtransparenzen liefert die normierte Kreuzkorrelation Die NKK liegt zwischen 0 (völlig ungleiche Muster) und 1 (identische Muster). Erinnerung: Faltung von g mit Kern K Computer Vision 1_Seite 15

Bildfolgen: Normierte Kreuzkorrelation Informationsgewinnung Beispiel: Bild g und Schablone h NKK Computer Vision 1_Seite 16

Bildfolgen: Bildstabilisierung Informationsgewinnung Anwendung der Kreuzkorrelation: Bildstabilisierung („Wackelkompensation“) z.B. bei Handycams Voraussetzungen: Nur wenige Objekte in der Szene bewegen sich. Translationen der Kamera sind vernachlässigbar. Drehungen erfolgen um die Achsen des Bildsensors. Keine Rotation um den Sehstrahl (Rollwinkel), nur Gier und Nickwinkel. F Kamera- drehung Verschiebung (Translation) im Bildbereich!! Bild Bild Bildsensor Computer Vision 1_Seite 17 Feste Szenengegenstände

Bildfolgen: Bildstabilisierung Informationsgewinnung Vorgehen Schätzung der Verschiebung (x, y) im Bildbereich durch Berechnung des Kreuzkorrelationsmaximums der Bilder, z.B. durch die Fouriertransformation. Korrektur der Verschiebung ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: xmax,  ymax Computer Vision 1_Seite 18

Detektionsmechanismen: dynamisch Informationsgewinnung Videosequenz: Hindernisdetektion mit optischem Fluss Lokal geschätzte Flussvektoren1 1) Ein Flussvektor ist ein Vektor, der (in der Bildebene) beschreibt, wie sich die Position eines Szenenpunkts zwischen zwei zeitl. aufeinander folgenden Bildern verschoben hat. Computer Vision 1_Seite 19

Bildfolgen: Optischer Fluss Informationsgewinnung Bewegungsschätzung durch optischen Fluss Suche für jeden Bildpunkt (x,y) einen Verschiebungsvektor (vx(x,y), vy(x,y)), so dass (x+vx(x,y) y+vy(x,y)) die Position des Szenenpunktes ist, der zuvor auf Bildposition (x,y) abgebildet war. Allgemeine optische Flussgleichung: Problem: Unterbestimmtheit, so z.B. kommt jeder Grauwert in einem 512x512 Grauwertbild (8 Bit) durchschnittlich 1024 mal vor! Dies macht zusätzliche Einschränkungen nötig, z.B. Glattheit des Flussvektorfeldes „Kleine“ Flussvektoren Computer Vision 1_Seite 20

Bildfolgen: Optischer Fluß Informationsgewinnung Die Lösung der allgemeinen optischen Flussgleichung erfolgt durch eine Taylor-Entwicklung von unter Vernachlässigung quadratischer und höherer Glieder Umgeformt ergibt sich pro Bildpunkt eine Gleichung Diese Gleichung hat jedoch zwei Unbekannte führt also zu einem unterbestimmten Gleichungssystem. Bestimme den jeweiligen Flussvektor unter Betrachtung einer kleinen Umgebung R von (x,y) (Glattheitsbedingung). Dies führt zu einem überbestimmten Gleichungssystem, daher erfolgt die Bestimmung des Flussvektors durch Minimierung von des Fehlers Computer Vision 1_Seite 21

Skripte http://www.home.fh-karlsruhe.de/~laas0002/Skripte/ Computer Vision 1_Seite 22