Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Verfolgung von farblich markierten Objekten Sascha Lange

Ähnliche Präsentationen


Präsentation zum Thema: "Verfolgung von farblich markierten Objekten Sascha Lange"—  Präsentation transkript:

1 Verfolgung von farblich markierten Objekten Sascha Lange

2 Gliederung 1. Bildanalyse –(Extrem) kurze, oberflächliche Einführung in die Bildanalyse 2. Computer Vision Tool Kit –Vorstellung meiner Bachelor Arbeit

3 Bildanalyse

4 Definitionen Bildverarbeitung (Image Processing) n Image processing is a collection of techniques for numerical operation on the pixel data. These include image enhancement for presentation to a human observer and the extraction of features for futher analysis. (Computer Vision Research – Introduction) n Gliederung: Bildbearbeitung und Bildanalyse Machine Vision / Computer Vision n The use of devices for non-contact sensing to automatically receive and interpret an image of a real scene in order to obtain information and/or control machines or processes (SME) n Besonderes Gewicht auf dem Aspekt der Prozessüberwachung und / oder – kontrolle (ev. aber auch nur Überinterpretation) Bildanalyse (Image Analysis) n Generierung einer bedeutungsvollen Beschreibung eines in einem oder mehreren Bildern zu einem Zeitpunkt oder in einem Zeitraum dargestellten räumlichen Teils der näheren oder ferneren Umgebung mit Hilfe von Computern. (Verfasser unbekannt) n Von der Ikonische Darstellung zu symbolischen Beschreibungen

5 Anwendungen n Medizin –Tomographie, Radiologie, Gewebeschnitte n Industrielle Automatisierung –Qualitätskontrolle, Sortierung, Transport n Überwachung –Gebäudeüberwachung, Suchen in Menschenmengen n Vermessungswesen & Fernerkundung –Landvermessung, Satellitenbildauswertung, Radarbilder n Human Computer Interfaces –Gesture Recognition n Biometrie –Fingerabdrücke, Authentifizierung n Archivierung –Content Based Image Retrieval

6 Arbeiten in der Computer Vision n Keine klare, allgemeine Standardmethode n Derzeit relativ unstrukturierte Sammlung von Verfahren Ingenieurwissenschaftliche Herangehensweise: –Auswahl geeigneter Verfahren zur Lösung einer speziellen Problemstellung n Aktuelle Schlagworte: –Active Vision: Aktive Kontrolle des Sichtfeldes –Exemplar-based vision

7 Klassische Bildverarbeitung (Einzelbild) Haus Busch vor Haus Baum vor Haus Modellfreie Segmentierung Modellgestütze Segmentierung Bildverbesserung Bildsymbolverarbeitung Symbolische Verarbeitung Bilderfassung

8 Zusammenfassung der klassischen Bildverarbeitung n Ausgangspunkt: Ikonische Bildrepräsentierung n Ziel: Symbolische Bildbeschreibung n Bildverbesserung n Häufiges Zwischenziel: Regionenbild n Objekterkennung

9 Anwendungen ohne bedeutungsvolle symbolische Beschreibung / Modell n Beispiel Biometrie –Direkter Vergleich von Feature Points n Beispiel Image Based Retrieval –Query by example (Farbe, Textur, Anordnung)

10 Viele Wege führen nach Rom… n Auf dem Weg zum Regionenbild –Kantenbasierte Segmentierung –Thresholding –Regionenbasierte Segmentierung

11 Faltung (Convolution) n Zusammenmultiplizieren von 2 Matrizen verschiedener Dimensionen n Die größere Matrix ist hier das Bild n Die kleinere wird Kernel genannt n Verschieben des Kernels über jeden einzelnen Bildpunkt n Dabei wird jeder Eintrag im Kernel mit dem darunter liegenden Pixel multipliziert n Die Summe der Produkte wird als Resultat dieser Stelle gespeichert n Diskreter Fall: Für Bildmatrix F M,N und Kernel K A,B n Resultierende Matrix: G M-A+1,N-B+1 n Anwendung: –Anwendung eines Filters auf jedes Pixel –Lokale Operatoren (im Gegensatz zu globalen und Punktoperatoren)

12 Kantendetektion I n Detektion von Kanten anhand von Änderungen in der Helligkeit (1. Ableitung, Helligkeitsgradient) n Sobel Kantendetektoren –Je ein Kernel für horizontale und vertikale Kanten Absolutbetrag des Gradienten durch Kombination: –Je größer der Gradient desto größer das Ansprechen –Problem: Anfällig für Rauschen –Thresholding Breite, diffuse Linien

13 Kantendetektion II: Zero-Crossings der 2. Ableitung n Laplace-Operator –Berechnet 2. Ableitung der Grauwerte –Isotropher Operator –Erhöht Rauschen n LoG Operator –Laplace of Gaussian, Marr- Hildreth Operator –Erst Glätten, dann Laplace Operator n Bestimmung der Zero- Crossings –Dünner Kantenverlauf –Feinheit kontrolliert durch Standardabweichung der Gaußglocke + Entfernung der Kanten, die nicht durch 1. Ableitung unterstützt werden

14 Farbsegmentierung: Constant thresholding n Constant thresholding n Starker Beleuchtungsgradient Bildfunktion: f(x,y) = (r,g,b) Luminosität: l(r,g,b) = [0..255] Segmentierung: s(l) = [0,1] mit s(l) = 0 für alle l <= t und s(l) = 1 für alle l > t constant threshold t

15 Farbsegmentierung: Adaptive Thresholding n Adaptive thresholding –Funktioniert auch bei starkem Gradient in der Beleuchtung –Local thresholding: Für jedes Pixel in bestimmter Umgebung statistisch den Threshold bestimmen: –median, mean, (max-min)/2 –t = median-c –Parameter: Umgebungsgröße, c –Chow und Kaneko: Bild aufteilen –Wahrscheinlichkeit für uniforme Beleuchtung sei höher Threshold für jedes Teilbild bestimmen Für jedes Pixel einen lokalen Schwellwert durch Interpolation finden schneller

16 Regiongrowing n Maximale Homogenitätsbedingung: –H(R i ) = TRUE, für alle Regionen R i –H(R i UR j ) = FALSE, für alle i<>j und R i ist Nachbar von R j n Homogenitätskriterien: –Helligkeit –Farbe –Textur –Form Oder Kombination daraus n Direkt auf Pixelbild oder vorsegmentiertem Bild n Region merging –Start mit übersegmentiertem Bild (z.B. Pixelbild) –Verschmelzungskriterium z.B. mit Hilfe von H(R i UR j ) n Region splitting –Start mit untersegmentiertem Bild (z.B. Bild als ein Segment) –Unter Umständen anderes Ergebnis als merging n Aus Gründen der Effizienz: Datenstruktur zur Adjazenzrepräsentierung n Split and Merge –Baut gleichzeitig einen Quadtree auf

17 Zwischenschritt: Regionenrepräsentierung und -beschreibung n Ikonische Darstellung der Regionen n Übergang zur symbolischen Verarbeitung Verminderung des Speicher- und Rechenaufwandes n Formrepräsentierungen: –Konturbasiert (Kettenkodes, Fourierdeskriptoren, B- Splines) –Regionenbasiert (Skelettierung, Dekomposition -> Graph) n Regionenbeschreibungen: –Reichen für die Analyse ev. auch aus –Möglichst topologisch Invariante Beschreibungen –Kontur basiert: Curvature Kantenlänge (Umfang) Biegungsenergie –Regionenbasiert Fläche, Zentrum, Höhe, Breite Exzentrizität: Verhältnis zwischen Haupt- und Nebenachse Elongatedness: größter Durchmesser / Fläche Rechteckigkeit Kompaktheit: (Umfang / Fläche)

18 Objekterkennung n Ziel: Objekt Klassifizierung n Weltwissen nötig –Über verarbeitete Objekte –Über Objektklassen n Verschiedene Techniken: –Statistic Pattern Recognition –Neural Nets –Syntactic pattern recognition –Graphmatching –Optimierungstechniken

19 Vom Einzelbild zur Bildfolge n Feature Point, bzw. Objektverfolgung n Active Vision

20 Feature Point Tracking n Ziel: Trajektorien n Vorgehen: –Pfadkohärenzfunktion, die eine Zuordnung bewertet –Finden des globalen Optimums n Probleme: –Constraints für die Pfadkohärenzfunktion –Widersprüchliche Constraints –Physikalisches Modell des beobachteten Systems nötig t-1t Minimierung des Abstands reicht nicht aus:

21 Pfad Koherenz Funktion (nach Sethi und Jain) n Bewertet Richtungsänderungen und Geschwindigkeitsänderungen –Dazu 2 Richtungsvektoren von t-2 über t-1 bis t –1. Term berechnet den Kosinus (0 wenn senkrecht zueinander) –2. Term bestraft Längenunterschiede n Probleme: –Gewichtung zwischen Geschwindigkeit und Richtung –Zusammen- oder Abprallen und andere Verletzungen des zugrunde liegenden Modells

22 Active Vision n Aktive Kontrolle der Kamera und des Systems –Um mehr Daten zu erlangen n Intelligente Datenakquisition –Kontrolliert durch die partiell interpretierte und bemessene Szene n Genau die Daten erlangen, die benötigt werden n Kontinuierliche, Real-Time Operation n Vision as Process

23 Exemplar Based Image Recognition n Keine Verarbeitung bis zur symbolischen Beschreibung des Bildes –Kein Szenenmodell n Stattdessen Bilddatenbank –Verschiedene Ansichten der Objekte –Prototypen der Objektklassen –Ganze Szenen –Steuerungssignal ev. direkt mit Szenen gekoppelt (z.B. IBR) n Ähnlichkeitsoperationen, die direkt auf den Bildern arbeiten ? n EROSAL

24 Computer Vision Tool Kit

25 Motivation n Vorlesung Intelligente Robotersteuerung WS2000/2001 –global vision system für die Small Size League n andere Messungen in künstlichen Umgebungen –Stab balancieren –Pendelschwingung

26 Aufgabenstellung n Bibliothek, die folgendes unterstützt: –tracking von farblich markierten Objekten in künstlichen Umgebungen –Ausgabe von: Objekttyp, Position, Orientierung, Geschwindigkeit –Echtzeitverarbeitung eines Videostroms –Kalibrierung

27 Schichten - Architektur n Jede Schicht kapselt einen Algorithmus n Datenstrukturen zwischen den Schichten sind definiert n vom Bild zu höheren Repräsentationen Bottom-Up Analyse cvtk.h Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste Low - Level Vision High - Level Vision

28

29 Farbsegmentierung n Bildquelle: f(x,y) = (r,g,b) n Verwendung einer Lookup - Tabelle: –Funktion l:(r,g,b) c in einer Tabelle gespeichert n Berechnung von s(x,y)=l°f(x,y) durch einfache Nachschlageoperation (im Voraus berechnet) lookuptable.hlookuptable.h colorsegmentation.cppcolorsegmentation.cpp Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste

30 Kettenkodierung n Kodieren: –Beschreibung der Kontur nach Freeman –4er, 8er Nachbarschaft –Sequenz von Nummern, die Richtung der Kontur kodieren n Reduktion der Datenmenge n schnell zu berechnen n einfache Berechnung von: –Zentrum –Fläche –umgebendes Rechteck chaincoding.hchaincoding.h chaincoding.cppchaincoding.cpp Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste

31 Kettenkodierung(2) n Fläche –Allgemein: A = b(x,y) dx dy –Diskrete Integration nach einer Achse –Differenz zwischen Integral der oberen und unteren Kante ist die Fläche n Zentrum der Fläche –Allgemein: X = x b(x,y) dx dy / b(x,y) dx dy –Analog zur Fläche –Beim Integrieren mit x multiplizieren

32 Objekterkennung n Objekt - Schablonen: –object id center (col, area), axis (col, area, dist), mark (col, area, dist, orien) end n Naiver Suchalgorithmus n Toleranzgrenzen n Harte Matches (keine Wks) n Ausgabe: Liste von Objekt- Eimern mit Instanzen Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste

33 Objektverfolgung n Ziel: –Zuordnung der gefundenen Instanzen zur richtigen Instanzgeschichte n Einfacher Fall: –Objekte eindeutig identifiziert n Schwieriger Fall: –Mehrere Instanzen pro Schablone –Innerhalb jedes Eimers tracking - Algorithmus Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste

34 Trackingalgorithmus n Optimierung eines globalen, konfigurierbaren Kriteriums n Uniform Cost Search (oder A*, wenn Heuristic für Kriterium vorhanden) –Kosten h(node) = Kriterium –Knoten sind mögliche Paarungen –In jeder Ebene wird ein Objekt mehr zugeordnet x t,1 – x t-1,i 1 x t,2 – x t-1,i 2 x t,1 – x t-1,i 1 x t,2 – x t-1,i 3 x t,1 – x t-1,i 1 x t,2 – x t-1,i 4 x t,1 – x t-1,i 1 x t,2 – x t-1,i 2 x t,3 – x t-1,i 3 x t,1 – x t-1,i 1 x t,2 – x t-1,i 2 x t,2 – h(k 1 ) = 0 h(k 2 ) = c h(k 3 ) = d c

35

36

37 Berechnung der Ausgabe n Berechnung der benötigten Werte anhand der Instanzgeschichte n Orientierung: –Winkel der Strecke center / axis zur x-Achse n Richtung / Geschwindigkeit –aus der Geschichte –Z.Zt. Ungeglättet –Einfache Glättung? –Kalmann-Filter zum Ausgleich der Meßfehler? Subpixelgenauigkeit Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste

38 Erweiterungen Farbsegmentierung Connected Regions Template Matching Object Tracking object(Position, [Orientierung], Richtung, Geschwindigkeit) Lookup Tabelle Objekt-Templates RGB-Matrix Farbklassen-Matrix Kettencode-Listen Objektklassen-Listen Objektinstanz-Liste Vorverarbeitung wie Glättung, Helligkeit Morphologische Operatoren wie Opening / Closing Region merging Koordinatentransformation

39 Ausblick n Einsatz der Bibliothek in der Midsize- League –3D, Messung von Entfernungen –Karlsruhe / Dortmund n Bereitstellung verbesserter Kalibrierungswerkzeuge


Herunterladen ppt "Verfolgung von farblich markierten Objekten Sascha Lange"

Ähnliche Präsentationen


Google-Anzeigen