Die Aufgaben der Bildauswertung

Präsentation zum Thema: "Die Aufgaben der Bildauswertung"—  Präsentation transkript:

1 Die Aufgaben der Bildauswertung
Auswertungsaufgaben Detektion im Bild Lokalisierung in der Welt Verfolgung Identifikation (Klassifikation) Analyse TODO Berücksichtigung des zeitlichen Zusammenhangs der einzelnen Bilder: Bildfolgenauswertung Computer Vision _Seite 1

2 Informationsgewinnung
Bildfolgen Informationsgewinnung Statische Kamera Bewegte Kamera Zeit Zeit Aufgaben: Detektion sich bewegender Objekte Lokalisierung sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand von Bewegungsmustern Eigenbewegungsschätzung Aufgaben: Detektion sich bewegender Objekte Lokalisierung sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand von Bewegungsmustern Wie kann die Information über Bewegung in ein System eingebracht werden? Computer Vision _Seite 2

3 Interpretationszyklus für Bildfolgen
Szeneninterpretation Die Nutzung der Mehrinformation (aus Bildfolgen) geht an zwei Stellen ein: Generische zeitliche Beschreibung Signalverarbeitung (genauer: Merkmalsextraktion) Generische räumliche Beschreibung Modellwelt Bildsensor Signal- verarbeitung Bildauswertung t0 + n*d t0+d t0 Generische zeitliche Beschreibung (parametrisierte Modelle für Objekt-, Szenen-, Beleuchtungs-, Sensordynamik) . . . Prädiktion Computer Vision _Seite 3

4 Bildfolgen: Raum-Kanten
Informationsgewinnung Raumkantenbild Grauwertbild Flugzeug- Modell Raumkanten Raum-Zeit-Kantenbild Original Raum-Zeit-Kanten Computer Vision _Seite 4

5 Bildfolgen: Raum-Kanten
Informationsgewinnung Beispiel für Raum-Zeit-Kanten: Infrarotbild (Luftbild) eines Ausschnitts der Meeresoberfläche Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Computer Vision _Seite 5

6 Bildfolgen: Raum-Kanten
Informationsgewinnung Bildstapel: Im Bildstapel statischer Kameras ergeben statische Objektpunkte: senkrechte Geraden und bewegte Bildpunkte mit gleichförmiger Bewegung: geneigte Geraden beschleunigter Bewegung: gekrümmte Geraden Computer Vision _Seite 6

7 Bildfolgen: Bewegungssegmentierung
Informationsgewinnung Differenzbild Empfindlich gegen Beleuchtungsänderungen Rauschen Periodische Vorgänge / Muster Abhilfe: Betrachte mehr als ein Bild aus der Vergangenheit Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Computer Vision _Seite 7

8 Bildfolgen: Bewegungssegmentierung
Informationsgewinnung Betrachtung der Vergangenheit: Betrachte die letzten M Bilder für jeden Bildpunkt einzeln (x,y): g(t) = g(x,y,t) Eine bewegungsbedingte Änderung im Bildpunkt (x,y) zeigt sich z.B. als „Sprung“. Liegt keine Änderung vor, so sind die Grauwerte „konstant“. g(t) Konstant mit Rauschen t g(t) Einmaliges Ereignis t Computer Vision _Seite 8

9 Bildfolgen: Bewegungssegmentierung
Informationsgewinnung Betrachtung der Vergangenheit: g(t) g(t) g(t) g(t) g(t) t t t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung h(q) q ge Histogrammbildung Computer Vision _Seite 9

10 Bildfolgen: Bewegungssegmentierung
Informationsgewinnung Betrachtung der Vergangenheit: Anpassen einer Summe von N Gaußfunktionen (= Modellierung der Grauwerthistorie): Für ein aktuelles Bild: Entscheidung für eine Änderung, wenn für den aktuellen Grauwert g gilt: h(q) h(q) h(q) h(q) h(q) ge q q q q q Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung Computer Vision _Seite 10

11 Bildfolgen: Bewegungssegmentierung
Informationsgewinnung Übersicht: Für jeden Bildpunkt: Berechnung des Histogramms aus den M letzten Bildern. Modellierung des Histogramms durch Summe von Gaußfunktionen Gilt für den aktuellen Grauwert g: ? Nein: Eintrag als Hintergrundbildpunkt (z.B. 0) Ja: Eintrag als (Bewegt-) Objektbildpunkt (z.B. 1) Letzte M Bilder aktuelles Bild ... Bewegungssegment-Bild Im Modell Im Modell ... Histogramm für jedes Pixel Computer Vision _Seite 11

12 Bildfolgen: Bewegungsschätzung
Informationsgewinnung Verfolgung von Merkmalen durch Blockmatching (Schablonenanpassung) t + Bild zur Zeit t Bild zur Zeit t+t t+ t Computer Vision _Seite 12

13 Bildfolgen: Bewegungsschätzung
Das Prinzip der Schablonenanpassung Bild zur Zeit t Bild zur Zeit t+t Bild zur Zeit t+t An welcher Stelle „passt“ die Schablone am besten? Die Suche wird beschränkt auf den Suchbereich um die Schablonenposition im Bild zur Zeit t. Schablone zur Suche im nächsten Bild ausschneiden. Die Position im Bild zur Zeit t+D, an der die Schablone der Bildstruktur am Ähnlichsten ist. Für die Suche nach der optimalen Position wird ein Ähnlichkeitsmaß benötigt! Computer Vision _Seite 13

14 Bildfolgen: Ähnlichkeitsmaße
Informationsgewinnung Lokale Ähnlichkeitsmaße zwischen einem Bild g der Größe BxH und einer Schablone h: Euklidische Distanz: City-Block-Distanz: Kreuzkorrelation: Schablone h: Position (m,n)=(4,3) Bild g Computer Vision _Seite 14

15 Bildfolgen: Normierte Kreuzkorrelation
Informationsgewinnung Die Normierung der Kreuzkorrelation bezüglich der Bildtransparenzen liefert die normierte Kreuzkorrelation Die NKK liegt zwischen 0 (völlig ungleiche Muster) und 1 (identische Muster). Erinnerung: Faltung von g mit Kern K Computer Vision _Seite 15

16 Bildfolgen: Normierte Kreuzkorrelation
Informationsgewinnung Beispiel: Bild g und Schablone h NKK Computer Vision _Seite 16

17 Bildfolgen: Bildstabilisierung
Informationsgewinnung Anwendung der Kreuzkorrelation: Bildstabilisierung („Wackelkompensation“) z.B. bei Handycams Voraussetzungen: Nur wenige Objekte in der Szene bewegen sich. Translationen der Kamera sind vernachlässigbar. Drehungen erfolgen um die Achsen des Bildsensors. Keine Rotation um den Sehstrahl (Rollwinkel), nur Gier und Nickwinkel. F Kamera- drehung Verschiebung (Translation) im Bildbereich!! Bild Bild Bildsensor Computer Vision _Seite 17 Feste Szenengegenstände

18 Bildfolgen: Bildstabilisierung
Informationsgewinnung Vorgehen Schätzung der Verschiebung (x, y) im Bildbereich durch Berechnung des Kreuzkorrelationsmaximums der Bilder, z.B. durch die Fouriertransformation. Korrektur der Verschiebung ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: xmax,  ymax Computer Vision _Seite 18

19 Detektionsmechanismen: dynamisch
Informationsgewinnung Videosequenz: Hindernisdetektion mit optischem Fluss Lokal geschätzte Flussvektoren1 1) Ein Flussvektor ist ein Vektor, der (in der Bildebene) beschreibt, wie sich die Position eines Szenenpunkts zwischen zwei zeitl. aufeinander folgenden Bildern verschoben hat. Computer Vision _Seite 19

20 Bildfolgen: Optischer Fluss
Informationsgewinnung Bewegungsschätzung durch optischen Fluss Suche für jeden Bildpunkt (x,y) einen Verschiebungsvektor (vx(x,y), vy(x,y)), so dass (x+vx(x,y) y+vy(x,y)) die Position des Szenenpunktes ist, der zuvor auf Bildposition (x,y) abgebildet war. Allgemeine optische Flussgleichung: Problem: Unterbestimmtheit, so z.B. kommt jeder Grauwert in einem 512x512 Grauwertbild (8 Bit) durchschnittlich 1024 mal vor! Dies macht zusätzliche Einschränkungen nötig, z.B. Glattheit des Flussvektorfeldes „Kleine“ Flussvektoren Computer Vision _Seite 20

21 Bildfolgen: Optischer Fluß
Informationsgewinnung Die Lösung der allgemeinen optischen Flussgleichung erfolgt durch eine Taylor-Entwicklung von unter Vernachlässigung quadratischer und höherer Glieder Umgeformt ergibt sich pro Bildpunkt eine Gleichung Diese Gleichung hat jedoch zwei Unbekannte führt also zu einem unterbestimmten Gleichungssystem. Bestimme den jeweiligen Flussvektor unter Betrachtung einer kleinen Umgebung R von (x,y) (Glattheitsbedingung). Dies führt zu einem überbestimmten Gleichungssystem, daher erfolgt die Bestimmung des Flussvektors durch Minimierung von des Fehlers Computer Vision _Seite 21

22 Skripte http://www.home.fh-karlsruhe.de/~laas0002/Skripte/
Computer Vision _Seite 22