Thorsten Jost INF-M2 – AW1 – Sommersemester 2008 27. Mai 2008 Navigation anhand natürlicher Landmarken mit Hilfe der „Scale Invariant Feature Transform“ Thorsten Jost INF-M2 – AW1 – Sommersemester 2008 27. Mai 2008 Positionsbestimmung = Lage + Orientierung 1.Bestimmen der geografischen Position durch Ortsbestimmung nach verschiedensten Methoden 2.Berechnen des optimalen Weges zum Ziel 3.Führen des Fahrzeugs zu diesem Ziel, also vor allem das Halten des optimalen Kurses.

Posenbestimmung in Räumen Literatur Agenda Motivation „Feature Detection“ Beispiele Posenbestimmung in Räumen Literatur Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Bildverarbeitung ist weit verbreitet Industrie Forschung Securety Motivation Bildverarbeitung ist weit verbreitet Industrie Forschung Securety Vermessung Extraktion von Information Teilgebiet: Objekterkennung Technik immer billiger (Verfügbarkeit, Kosten/Nutzen) Rechner immer schneller (Berechnungsaufwand) Qualitätssicherung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Aufgaben der Objekterkennung Wiederfinden (Segmentieren) Motivation Aufgaben der Objekterkennung Wiederfinden (Segmentieren) Identifizieren Lage, Orientierung Positionsbestimmung Spezielle Verfahren -> Gesichtserkennung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Ansprüche an Objekterkennung Invarianz gegenüber Motivation Ansprüche an Objekterkennung Invarianz gegenüber Position, Drehung, Größe Affine und 3D Transformation Verdeckung Rauschen, Helligkeit Geschwindigkeit Echtzeit Verwendung in beliebiger Umgebung Echtzeit für Navigation, abhängig von der Geschw. Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Mögliche Einsatzgebiete Objekterkennung Stitching Motivation Mögliche Einsatzgebiete Objekterkennung Stitching Rescue Infotainment Autonome Navigation! ... Rescue-> Menschen, Türen, Rettungseinrichtungen entdecken Infotainment -> Messen, Museen, Tourismus Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Verknüpfung von Bildpunkten in Bildpaaren „Feature Detection“ Verknüpfung von Bildpunkten in Bildpaaren Wiederfinden von Objekteigenschaften -> Navigation Bestimmung der Kamerapose -> visuelle Navigation Tiefenbilderzeugung -> Hindernisdetektion Suche äquivalenter Objekte in Bilddatenbank Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Suche nach markanten Bildpunkten (Keypoints) „Feature Detection“ Laplace-Pyramide Suche nach markanten Bildpunkten (Keypoints) Berechnung von DoG-Bildern, Difference of Gaussian - - Ausgangsbild Gauß-Filterung DoG-Bilder Gaußfilter Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

„Feature Detection“ Beispiel Beispiel „Frau mit Hut“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

„Feature Detection“ Keypoints sind Pixel mit Maxima/Minima Innerhalb von drei DoG-Ebenen und einer 3x3 Region 26 benachbarte Pixel ca. 1000 Keypoints (512x512 Image) X Scale Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

„Feature Detection“ Charakterisierung der Keypoints erforderlich Durch Gradientenbetrag und –richtung Werte werden in Histogramm akkumuliert 36 „Behälter“  ein Behälter 10% des Vollkreises Normierter Gradientenbetrag  Belichtungs-Invaranz Der höchste Wert bestimmt die Orientierung des Keypoint  Rotations-Invarianz Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Lokale Abbildungs-Beschreibung Funktionsweise ähnlich der von Säugetieren Visueller Cortex Gradienten-Richtungshistogramm SIFT-Key Vektor hat 160 Dimensionen! 8x4x4 + 8x2x2 (2 Oktaven) Gewichtung nach Gaußglocke Gradient= Helligkeitsverlauf Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Indizieren und Abgleichen Hohe Komplexität für eine genaue Lösung da hohe Dimension des Feature-Vectors Best-Bin-First Such Algorithmus Hat k-d-Baum als Grundlage Hohe Gewichtung der größeren Skalierung Laplace-Pyramide Hough-Transformation bestätigt bestimmte Model-Posen Finden der Punkte aus einer Datenbank Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Indizieren und Abgleichen Verlässliche Erkennung schon mit drei Features! Jeder Key-Point besitzt vier Parameter 2D Koordinaten, Orientierung, Skalierung Model-Keys beinhalten relative Parameter zum Model- Koordinatensystem Typisch sind 2000 features Bestimmung der Projektions parameter. Prüfung, ob gefundene Keypoints „passen“. Berechnung der Transformations parameter-> Prüfung der Hypothese Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken Beispiel „Rotation und Verdeckung“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken Beispiel „Schuh und Telefon“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken Beispiel „Beleuchtung“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Posenbestimmung in Räumen Bestimmung anhand von Passmarken Vorgegebene Datenbank Initiale Kalibrierung Notwendig Wir wollen SIFT! Statt Passmarken -> Landmarken finden Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Posenbestimmung in Räumen SLAMB = Simultaneous Localization And Map Building Lokalisierung mit SIFT Features Stereo Kamera System Erzeugung von „Landmarks“ Ego-Motion Bestimmung durch Kleinste Quadrate- Minimierung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Posenbestimmung in Räumen Bildebene ist „vorgelagert“ -> zur Veranschaulichung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Posenbestimmung in Räumen 10cm Vorwärts 5° Rotation Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Posenbestimmung in Räumen Nach 249 Frames Vogelperspektive Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

Thorsten Jost – Navigation anhand natürlicher Landmarken Literatur Object Recognition from Local Scale-Invariant Features David G. Lowe (1999) Local Feature View Clustering for 3D Object Recognition David G. Lowe (2001) Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe (2004) Vision-based Mobile Robot Localization And Mapping using Scale-Invariant Features Stephen Se, David Lowe, Jim Little (2001) http://en.wikipedia.org/wiki/Scale-Invariant_Feature_Transform Mai 2008 http://user.cs.tu-berlin.de/~nowozin/autopano-sift Mai 2008 http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html Mai 2008 Projekt und alle Themen zusammen bearbeitet Aufteilung der Themen nur für Präsi und Bericht Ich 13 Parameter Modell, Kalibrierung und Korrektur Thorsten: Raummodell, Positionsbestimmung Hintergründe und Auswertung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008