Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Computer Vision4_Seite 1 Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische.

Ähnliche Präsentationen


Präsentation zum Thema: "Computer Vision4_Seite 1 Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische."—  Präsentation transkript:

1 Computer Vision4_Seite 1 Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Modellausprägungen (Parametersätze) Parameterschätzung, Klassifikation Merkmale, Primitive Modellelemente Projektion Modellwelt-Bild Digitalisiertes Bild Modellwelt Synthetisches Bild, Szenenskizze Bildsensor Display Signal- verarbeitung Bildauswertung Synthese Bestimmt Art Verfahren extrahieren Bestimmt Art Modifiziert

2 Computer Vision4_Seite 2 ObjektberandungGrauwertunterschiedeLokalisierung (Geometrie)TexturunterschiedeSegmentierung Freiheitsgrade Form OberflächeneigenschaftGrauwertKlassifikation (Radiometrie)Textur ModellähnlichkeitKlassifikation (geometrisch, radiometrisch) Bildmerkmale Informationsgewinnung Bild Merkmal 1- Bild Merkmal N- Bild Merkmal 1 - Operator Merkmal N - Operator N Kanten- bilder N Fleck- bilder Kanten- operator Fleck- operator

3 Computer Vision4_Seite 3 Diskrete Signale Videokamera Abstandsmaße im diskreten Gitter Euklidische Distanz City-block-Distanz Schachbrett-Distanz Aliasing räumlich und zeitlich: Signale halbe Abtastfrequenz!

4 Computer Vision4_Seite 4 Textur-Deskriptoren Texturelle Statistische Fourier Berandungsdeskriptoren Einfache shape numbers Fourier Momente Regionale Deskriptoren Einfache Topologische Merkmale Informationsgewinnung

5 Computer Vision4_Seite 5 Grauwert-Deskriptoren: Textur Keine formale Beschreibung von Textur. Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc. Drei Ansatzpunkte zur Beschreibung von Textur: Statistisch: glatt, rauh, körnig,grob Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien) Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum Merkmale Informationsgewinnung Rauh fraktal homogen periodisch

6 Computer Vision4_Seite 6 Textur: Statistische Ansätze Merkmale Informationsgewinnung Rauh fraktal homogen g h 1. Auswertung des Histogramms des durch die Maske definierten Bildbereichs h g

7 Computer Vision4_Seite 7 Textur: Statistische Ansätze: Momente des Grauwerthistogramms g h Wenn L die Anzahl der Grauwerte ist und h(g i ) das Histogramm in der Maske, so sind die n-ten Momente: Das zweite Moment heisst Varianz und wird mit ² bezeichnet. Es ist ein Maß des Grauwertkontrasts. Z.B. ist R=0 für konstanten Grauwert und geht gegen 1 für große. n=3: Skewness des Histogramms n=4: relative Plattheit des Histogramms h g Merkmale Informationsgewinnung

8 Computer Vision4_Seite 8 Ergibt die und damit Matrix Cooccurrence Matrix c i,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit, dass ein Paar von Punkten, das P erfüllt die Werte i,j hat. Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der Pixel zueinander (Phase). Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert: Coocurrence-Matrix. Positionsoperator P k,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l). Anzahl der unterschiedlichen Grauwerte G Matrix A mit GxG Elementen a i,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j. Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen. Beispiel: G=3: g {0,1,2}; Positionsoperator P 1,1 Angewendet auf das Bild Merkmale Informationsgewinnung

9 Computer Vision4_Seite 9 Textur: Statistische Ansätze: Coocurrence-Matrix Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur gewonnen werden. Eine solche Menge von Deskriptoren ist z.B.: (1) Maximale Wahrscheinlichkeit Stärkste Antwort auf P (2) Moment der Elemente-Differenz der Ordnung k relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag. (3) Moment der inversen Elemente-Differenz der Ordnung k Gegenteiliger Effekt wie (2) (4) Entropie Maß für die Unordnung (5) Gleichförmigkeit Entgegengesetzt zu (4) Merkmale Informationsgewinnung

10 Computer Vision4_Seite 10 Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Vereinfachung gegenüber Coocurrence-Matrix Bildfenster gleicher Größe, deren Mitte um d u und d v gegeneinander verschoben ist: {g m´,n´ } = {g m+du, n+dv }, m = 1,...,M; n = 1,...,N Summen und Differenzen der Grauwerte: Summen- und Differenzhistogramme: Merkmale Informationsgewinnung

11 Computer Vision4_Seite 11 X dudu dvdv g m,n s m,n = g m,n + g m+du,n+dv d m,n = g m,n - g m+du,n+dv g m+du,n+dv 0 i hshs hdhd Merkmale Informationsgewinnung

12 Computer Vision4_Seite 12 Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Maße aus den normierten Histogrammen: können berechnet werden für verschiedene d u und d v, meist (1,0), (1,1), (0,1), (-1,0) Merkmale Informationsgewinnung

13 Computer Vision4_Seite 13 Textur: Statistische Ansätze: Momente Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q): für p,q = 0,1,2,... Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt. Die Menge aller Momente bestimmt seinerseits f(x,y). Zentrale Momente Für ein digitales Bild wird daraus Merkmale Informationsgewinnung Um Schwerpunkt verschoben: translationsinvariant

14 Computer Vision4_Seite 14 Textur: Statistische Ansätze: Momente Zentrale Momente bis zur Ordnung 3: Normierte zentrale Elemente: Merkmale Informationsgewinnung Skaleninvarianz durch Normierung

15 Computer Vision4_Seite 15 Textur: Statistische Ansätze: Invariante Momente Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten: Translations-, rotations- und skaleninvariant Merkmale Informationsgewinnung

16 Computer Vision4_Seite 16 Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen Merkmale Informationsgewinnung Quelle: Handbook of Computer Vision

17 Computer Vision4_Seite 17 Detektion von Diskontinuitäten Kanten Linien Punkte Detektion von Ähnlichkeiten Segmentierung Informationsgewinnung

18 Computer Vision4_Seite 18 Detektion von Diskontinuitäten Kanten Segmentierung Grauwertprofil erste Ableitung zweite Ableitung (Gradient) (Laplace)

19 Computer Vision4_Seite 19 Merkmal Gradient Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann treten an Objektgrenzen starke Gradienten auf. GrauwertbildGradientenbild Bildmerkmale

20 Computer Vision4_Seite 20 Merkmal Gradient Bildmerkmale Betrag gibt Stärke des Grauwertübergangs. Rotationsinvariant Invariant gegen homogene GW-Änderungen Phase gibt Richtung. Invariant gegen homogene GW-Änderungen Diskretisierung im Bild -> Differenzenquotienten

21 Computer Vision4_Seite 21 Merkmal Gradient Bildmerkmale Diskretisierung im Bild -> Differenzenquotienten Rückwärts-x- Gradient – D x Vorwärts-x- Gradient + D x Symmetrischer-x- Gradient S D x Ergibt Faltungsmaske Analog y, z.B.:

22 Computer Vision4_Seite 22 Erinnerung: Faltung Bildmerkmale g(m) K(m) m=17 Eindimensional, diskret 2D, diskret 2D, kontinuierlich

23 Computer Vision4_Seite 23 Erinnerung: Faltung Bildmerkmale 2D, diskret, endl. Faltungskern g 1,1 g 1,2 g 1,3 g 1,4 g 1,5 g 1,6 g 1,7 g 1,8 g 1,9... g 2,1 g 2,2 g 2,3 g 2,4 g 2,5 g 2,6 g 2,7 g 2,8 g 2,9... g 3,1 g 3,2 g 3,3 g 3,4 g 3,5 g 3,6 g 3,7 g 3,8 g 3,9... g 4,1 g 4,2 g 4,3 g 4,4 g 4,5 g 4,6 g 4,7 g 4,8 g 4,9... g 5,1 g 5,2 g 5,3 g 5,4 g 5,5 g 5,6 g 5,7 g 5,8 g 5,9... g 6,1 g 6,2 g 6,3 g 6,4 g 6,5 g 6,6 g 6,7 g 6,8 g 6,9... g 7,1 g 7,2 g 7,3 g 7,4 g 7,5 g 7,6 g 7,7 g 7,8 g 7,9... g 8,1 g 8,2 g 8,3 g 8,4 g 8,5 g 8,6 g 8,7 g 8,8 g 8,9... g 9,1 g 9,2 g 9,3 g 9,4 g 9,5 g 9,6 g 9,7 g 9,8 g 9, K -1,- 1 K -1,0 K -1 1 K 0,-1 X K 0,0 K 0,1 K 1,-1 K 1,0 K 1,1 Bild {g m,n }, 0 m M, 0 n NFaltungskern {K m,n } Beispiel: m = 4, n = 4, m hs =0 J k = 1, K k = 1, n hs =0 K -1,- 1 K -1,0 K -1 1 K 0,-1 X K 0,0 K 0,1 K 1,-1 K 1,0 K 1,1

24 Computer Vision4_Seite 24 Merkmal Gradient Einige gängige Gradienten-Operatoren: Bildmerkmale Roberts Prewitt Sobel Isotrop

25 Computer Vision4_Seite 25 Merkmal Gradient Gradienten-Operatoren verstärken Rauschen: Vorzugsweise Operatoren mit Glättungseigenschaften Sobel Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung Gaussfunktion Bildmerkmale

26 Computer Vision4_Seite 26 Merkmal Gradient Faltung mit der Ableitung der Gaussfunktion: Canny-Filter Bildmerkmale Separierbar in x und y

27 Computer Vision4_Seite 27 Merkmal Laplace Laplace-Operator einer 2-dimensionalen Funktion f(x,y): Im Fall einer diskreten 3x3-Maske: Laplace-Operatoren verstärken Rauschen: Glättung mit Gauss-Funktion Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten. Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten. Bildmerkmale Hildreth-Marr- oder Mexican Hat-Operator 2

28 Computer Vision4_Seite 28 Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter 2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung Konturextraktion 0° 45° 90° 135° 180° 225° 270° 315° Gradienten-Richtung in MMaximumbedingung 1°...22°, 158°...202°, 338°...360°b(A) b(M) und b(E) b(M) 23°...67°, 203°...247°b(B) b(M) und b(F) b(M) 68°...112°, 248°...292°b(C) b(M) und b(G) b(M) 113°...157°, 293°...337°b(D) b(M) und b(H) b(M) Wenn M Maximum, trage in Ergebnisbild Betrag und Richtung ein, sonst 0.

29 Computer Vision4_Seite 29 Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Konturextraktion Betrag Richtung

30 Computer Vision4_Seite 30 Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Konturextraktion

31 Computer Vision4_Seite 31 Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Betrag Richtung Konturextraktion

32 Computer Vision4_Seite 32 Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Konturextraktion

33 Computer Vision4_Seite 33 Kantenpixel-Verkettung Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten Leider nicht immer Objektränder: Zusätzliche Struktur und Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten. Daher weitere Verarbeitung zur Zusammenstellung von Kantenpixelkandidaten zu Rändern. 1. Unterdrückung zusätzlicher Strukturen: I.A. kleiner Gradientenbetrag Vorgehen: Zwei Schwellen zur Unterdrückung: 1.Größere Schwelle zur Filterung ausgeprägter Konturpunkte 2.Dort Verfolgung der Kontur mit kleinerer Schwelle Konturextraktion

34 Computer Vision4_Seite Verdünnung auf pixelbreite Strukturen: Durch Diskretisierung bis zu 3 Pixel breite Strukturen. Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix) 3. Lokale Verarbeitung: Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen Kandidaten: Alle ähnlichen Kandidaten werden verbunden. Rand von Pixeln ähnlicher Eigenschaft. Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung Konturextraktion

35 Computer Vision4_Seite 35 Histogramm-Auswertung Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt: Bildsegmentierung durch Schwellwerte Anzahl Bildpunkte Helligkeit (Grauwert) Hintergrund Objekt Histogrammsegmentierung Schwelle T g(x,y) H(x,y)=0, wenn g(x,y) T H(x,y)=1, wenn g(x,y) T Segmentierung Merkmalsbild

36 Computer Vision4_Seite 36 Auffinden der Schwelle mittels Histogramm-Auswertung (1) Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z für Objekt p O (z) und Hintergrund p H (z) mit a priori Auftrittswahrscheinlichkeiten von Objektpunkten P O und Hintergrundpunkten P H. Bedingung P O + P H = 1. Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = P O p O (z) + P H p H (z) Im Gauss´schen Fall: Bildsegmentierung durch Schwellwerte

37 Computer Vision4_Seite 37 Auffinden der Schwelle mittels Histogramm-Auswertung (2) Wahrscheinlichkeit einer Fehlzuordnung E: Minimierung von E Gauss´sche p O und p H : Einsetzen, logarithmieren und vereinfachen ergibt quadratische Gleichung mit Bildsegmentierung durch Schwellwerte

38 Computer Vision4_Seite 38 Auffinden der Schwelle mittels Histogramm-Auswertung (3) Vorgehen nach obiger Methode: 1.Trainingsstichprobe Bildmaterial 2.Histogramm für Objektpixel h O 3.Histogramm für Hintergrundpixel h H 4.Berechnung von O und O aus h O 5.Berechnung von H und H aus h H 6.Berechnung von A, B und C: 7.Berechnung der Schwelle durch Lösung der quadratischen Gleichung 8.Anwenden der Schwelle auf neues Bildmaterial Bildsegmentierung durch Schwellwerte

39 Computer Vision4_Seite 39 Darstellung der Objekt-Berandung: Ketten-Code Darstellung und Beschreibung xxX xX XX Xx XX XX XX Xx Kettencode-Erstellung: Folge der Richtungen entlang der Kontur ab beliebigem Startpunkt. Beispiel: Anfangspunktinvarianz 1. Startpunkt-Normierung: Verschiebe zirkular so, dass die Sequenz eine Zahl minimaler Größe bildet. Beispiel: Rotationsinvarianz 2. Rotationsnormierung: Erste Differenz: Anzahl der Richtungen, die zwei aufeinanderfolgende Elemente des Codes trennen. Beispiel: Anfangspunkt- und Rotationsinvarianz Kettencode Rotationsnormierung Startpunktnormierung Beispiel:

40 Computer Vision4_Seite 40 Darstellung der Objekt-Berandung: Polygon-Approximationen Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit. Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst kleiner Anzahl an Segmenten. Nicht-triviales Problem iterativer Suche. Einfache Methode für Polygone mit minimalem Umfang: 1.Bedeckung Randkurve mit rechtwinklig angeordneten Quadraten Darstellung und Beschreibung 2. Gerade Verbindungen der Außenecken des Quadrate- schlauches

41 Computer Vision4_Seite 41 Beschreibung der Objekt-Berandung: Polardarstellung Darstellung und Beschreibung r Schwerpunkt A r Schwerpunkt A r r A/2

42 Computer Vision4_Seite 42 Beschreibung der Objekt-Berandung: Momente 1. Umwandlung einer Berandung in eine 2. Berechnung Momente der Kurve eindimensionale Kurve (z.B. Polardarst.) Darstellung und Beschreibung r Schwerpunkt A r A/2

43 Computer Vision4_Seite 43 Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1 Als komplexe Zahl: u(s) = x(s) + iy(s) L-periodisch für geschlossene Konturen. DFT: a(k): Fourier-Deskriptoren der Berandung. Transformationseigenschaften: Identitätu(s)->a(k) Translationu´(s) = u(s)+u 0 ->a´(k) = a(k)+ u 0 (k) Skalierungu´(s) = u(s)->a´(k) = a(k) Anfangspunktu´(s) = u(s-s 0 )->a´(k) = a(k) exp(-i s 0 k/L) Rotationu´(s) = u(s) exp(i2 )->a´(k) = a(k) exp(i2 ) Darstellung und Beschreibung

44 Computer Vision4_Seite 44 Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren Randkurven u(s) und v(s) mit a(k) und b(k): Ist für mittelwertfreie u(s) und v(s) erfüllt, wenn Darstellung und Beschreibung d kann für jedes = (s 0 ) berechnet werden. Das Minimum ergibt dann d, welches dann ein Ähnlichkeitsmaß für die Formen ist.

45 Computer Vision4_Seite 45 Ortsraum - Frequenzraum Signale können als Überlagerung (Summe) periodischer Funktionen mit Frequenzen und mit Amplituden F dargestelltdargestellt werden: Transformation in Frequenzraum Diskrete Fourier-(Rück)Transformation Frequenzraum-Darstellung gibt an, mit welcher Häufigkeit jeweils periodische Funktionen vorkommen. Darstellung im Frequenzraum Cosinus FunktionenSinus Funktionen y(x)

46 Computer Vision4_Seite 46 Ortsraum - Frequenzraum Im Frequenzraum sind viele Operationen günstiger. Alle linearen Operationen z.B. Hochpass, Tiefpass, Bandpass und Bandsperre mit hoher Güte Erkennung periodischer Strukturen Manipulation periodischer Strukturen Nach einer Bearbeitung im Frequenzraum F e (k)F e ~ (k) und F o (k)F o ~ (k) kann wieder in den Ortsraum zurück transformiert werden. Darstellung im Frequenzraum Signal y im Ortsraum, Abtastwerte y(i) Analyse: Transformation Ortsraum Frequenzraum Synthese: Transformation Frequenzraum Ortsraum

47 Computer Vision4_Seite 47 Ortsraum – Frequenzraum Polare Notation – komplexe Schreibweise Darstellung im Frequenzraum F e (k) F o (k) F(k) Amplitude (Magnitude) Phase Komplexe Schreibweise |F(k)|

48 Computer Vision4_Seite 48 Ortsraum – Frequenzraum Filterung der abgetasteten Funktion y: 1.Analyse 2.Multiplikation mit Filterfunktion 3.Synthese Darstellung im Frequenzraum Filterfunktion, Abtastwerte f(k)

49 Computer Vision4_Seite 49 Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Darstellung im Frequenzraum Aus: Handbook of Computer Vision

50 Computer Vision4_Seite 50 Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Darstellung im Frequenzraum Aus: Handbook of Computer Vision

51 Computer Vision4_Seite 51 Ortsraum – Frequenzraum Bezüglich Fourier-Transformation invariante Funktionen Darstellung im Frequenzraum Aus: Handbook of Computer Vision

52 Computer Vision4_Seite 52 Ortsraum – Frequenzraum Wichtige Fourier-Transformationspaare Darstellung im Frequenzraum Aus: Handbook of Computer Vision

53 Computer Vision4_Seite 53 Ortsraum – Frequenzraum 2-Dimensionale diskrete Fourier-Transformation Darstellung im Frequenzraum

54 Computer Vision4_Seite 54 Beschreibung der Objekt-Berandung: Umschreibendes Rechteck (Bounding box) Darstellung und Beschreibung 1.Große Halbachse: Gerade, welche die am weitesten entfernten Punkte der Objektberandung verbindet. 2.Kleine Halbachse: Zur großen Halbachse senkrechte kürzeste Gerade, so dass die Objektberandung im damit gebildeten Rechteck liegt. 3.Exzentrizität: Verhältnis von großer zu kleiner Halbachse

55 Computer Vision4_Seite 55 Bildfolgen: statische Kamera Bewegte Kamera Merkmale aus Bildfolgen Zeit Original Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster Zeit Aufgaben: Eigenbewegungsschätzung Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster

56 Computer Vision4_Seite 56 Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden Beschleunigte Bewegung: gekrümmte Kurven

57 Computer Vision4_Seite 57 Merkmale aus Bildfolgen Differenzbilder für statischen Hintergrund mit sich bewegenden Fahrzeugen Dynamik eines Bildpunktes

58 Computer Vision4_Seite 58 Bildfolgen: statische Kamera: Raum-Zeit-Kanten Merkmale aus Bildfolgen Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild

59 Computer Vision4_Seite 59 Bildfolgen: statische Kamera: Raum-Zeit-Kanten Merkmale aus Bildfolgen Interpretation einer Bildfolge G t1 (x,y), G t2 (x,y),..., G tN (x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche

60 Computer Vision4_Seite 60 Bildfolgen: statische Kamera: Bewegungssegmentierung Differenzbildverfahren: Merkmale aus Bildfolgen Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge

61 Computer Vision4_Seite 61 Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des Normalprozesses Ein Pixel: Merkmale aus Bildfolgen g(t) t t t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung

62 Computer Vision4_Seite 62 Konstant mit Rauschen Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Betrachtung der Vergangenheit zur Modellierung des Normalprozesses Histogramm über M Bilder: Merkmale aus Bildfolgen H(g) g g g g g Ideal konstant Einmaliges Ereignis Langsame Veränderung Periodische Schwankung gege Änderung, wenn H M (g) < H Schwelle

63 Computer Vision4_Seite 63 Bildfolgen: statische Kamera: Bewegungssegmentierung Hintergrundschätzung: Vorgehensweise Betrachtung der Vergangenheit zur Modellierung des Normalprozesses Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): Für jedes Pixel 1. Histogramm über die M letzten Bilder 2. Modellierung des Histogramms als Summe von Gaussfunktionen 3. Aktueller Grauwert in Modell? Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Merkmale aus Bildfolgen... H(g) g g... Letzte M Bilderaktuelles Bild Histogramm für jedes Pixel In Modell Bewegungssegment-Bild

64 Computer Vision4_Seite 64 Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung (Wackelkompensation): Anwendung z. B. Handycams Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte. Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) Merkmale aus Bildfolgen Feste Szenengegenstände Kamera- drehung Bildsensor Bild Verschiebung

65 Computer Vision4_Seite 65 Bildfolgen: Kamera-Bewegungsschätzung Bildstabilisierung (Wackelkompensation): Anwendung z. B. Handycams Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames 2. Korrektur der Translation Berechnung z.B. mittels FFT: Merkmale aus Bildfolgen... x max y max Lage des Maximums der Kreuzkorrelationsfunktion: x max, y max

66 Computer Vision4_Seite 66 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.Blockmatching Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition Merkmale aus Bildfolgen + Bild zur Zeit t Bild zur Zeit t+ t t+

67 Computer Vision4_Seite 67 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.Blockmatching: Prinzip Merkmale aus Bildfolgen t t+ Ausschnitt aus Bild zur Zeit t: Template zur Suche im nächsten Bild Suche im Bild zur Zeit t+ : An welcher Stelle passt das Template am besten? Suche beschränkt auf Suchbereich um Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+, an der das Template der Bildstruktur am Ähnlichsten ist.

68 Computer Vision4_Seite 68 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.Blockmatching: Vorgehen Merkmale aus Bildfolgen Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+ ) gleicher Form und Größe von Bild zur Zeit t+. Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. Ähnlichkeitsmaße: Euklidische Distanz (Unähnlichkeit) Kreuzkorrelation (Ähnlichkeit) t t+

69 Computer Vision4_Seite 69 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 1.Blockmatching: Ähnlichkeitsmaße Merkmale aus Bildfolgen -K i, -K j -K i, +K j +K i, -K j +K i, +K j Template Block Verschiebungen i und j um Ursprungsposition i,j des Templates Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz:

70 Computer Vision4_Seite 70 Bildfolgen: Bewegungsschätzung Optischer Fluss Grundsätzliche Annahme: Jedes Pixel zur Zeit t+1 einer Bildsequenz kann modelliert werden als ein Pixel zur Zeit t, das um einen Vektor ( x, y) T verschoben wurde: Konstanz der Beleuchtung. Optischer Fluss: Finde ein Vektorfeld ( x(x,y), y(x,y)) T, das die opt. Fluss Gleichung löst. Problem: Unterbestimmtheit Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: Durchschnittlich 1024 Pixel/Grauwert. Zusätzliche Einschränkungen nötig: Glattheit des Flussfeldes Kleine Flussvektoren Merkmale aus Bildfolgen

71 Computer Vision4_Seite 71 Bildfolgen: Bewegungsschätzung Optischer Fluss Zusätzliche Einschränkungen: Glattheit des Flussfeldes Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung optical flow constraint equation Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme) überbestimmtes Gleichungssystem Einschränkung: x und y klein genug für Abbruch der Taylor-Reihe. Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. Merkmale aus Bildfolgen x g t t+ t x g g(x 0,t) g(x 0,t+ t) x0x0

72 Computer Vision4_Seite 72 Bildfolgen: Bewegungsschätzung Optischer Fluss Merkmale aus Bildfolgen

73 Computer Vision4_Seite 73 Bildfolgen: Bewegungsschätzung Optischer Fluss Merkmale aus Bildfolgen

74 Computer Vision4_Seite 74 Bildfolgen: Bewegungsschätzung Optischer Fluss Berechnungsvorschrift Merkmale aus Bildfolgen

75 Computer Vision4_Seite 75 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Betrachte das Grauwertgebirge eines Bildes: Kuppen und Senken sind stabile Merkmale von Objekten Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Merkmale aus Bildfolgen

76 Computer Vision4_Seite 76 Bildfolgen: Bewegungsschätzung Verfolgung von Merkmalen 2. Verfolgung von Monotonie-Operator-Blobs Am Boden einer Senke bzw. an der Decke einer Kuppe ist die dritte Ableitung klein. Merkmale aus Bildfolgen

77 Computer Vision4_Seite 77 Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t 2 gegenüber Bild zur Zeit t 1 : d x, d y Merkmale aus Bildfolgen

78 Computer Vision4_Seite 78 Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t 2 gegenüber Bild zur Zeit t 1 : d x, d y Merkmale aus Bildfolgen


Herunterladen ppt "Computer Vision4_Seite 1 Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische."

Ähnliche Präsentationen


Google-Anzeigen