Thorsten Jost INF-M2 – AW1 – Sommersemester Mai 2008

Präsentation zum Thema: "Thorsten Jost INF-M2 – AW1 – Sommersemester Mai 2008"—  Präsentation transkript:

1 Thorsten Jost INF-M2 – AW1 – Sommersemester 2008 27. Mai 2008
Navigation anhand natürlicher Landmarken mit Hilfe der „Scale Invariant Feature Transform“ Thorsten Jost INF-M2 – AW1 – Sommersemester 2008 27. Mai 2008 Positionsbestimmung = Lage + Orientierung 1.Bestimmen der geografischen Position durch Ortsbestimmung nach verschiedensten Methoden 2.Berechnen des optimalen Weges zum Ziel 3.Führen des Fahrzeugs zu diesem Ziel, also vor allem das Halten des optimalen Kurses.

2 Posenbestimmung in Räumen Literatur
Agenda Motivation „Feature Detection“ Beispiele Posenbestimmung in Räumen Literatur Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

3 Bildverarbeitung ist weit verbreitet Industrie Forschung Securety
Motivation Bildverarbeitung ist weit verbreitet Industrie Forschung Securety Vermessung Extraktion von Information Teilgebiet: Objekterkennung Technik immer billiger (Verfügbarkeit, Kosten/Nutzen) Rechner immer schneller (Berechnungsaufwand) Qualitätssicherung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

4 Aufgaben der Objekterkennung Wiederfinden (Segmentieren)
Motivation Aufgaben der Objekterkennung Wiederfinden (Segmentieren) Identifizieren Lage, Orientierung Positionsbestimmung Spezielle Verfahren -> Gesichtserkennung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

5 Ansprüche an Objekterkennung Invarianz gegenüber
Motivation Ansprüche an Objekterkennung Invarianz gegenüber Position, Drehung, Größe Affine und 3D Transformation Verdeckung Rauschen, Helligkeit Geschwindigkeit Echtzeit Verwendung in beliebiger Umgebung Echtzeit für Navigation, abhängig von der Geschw. Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

6 Mögliche Einsatzgebiete Objekterkennung Stitching
Motivation Mögliche Einsatzgebiete Objekterkennung Stitching Rescue Infotainment Autonome Navigation! ... Rescue-> Menschen, Türen, Rettungseinrichtungen entdecken Infotainment -> Messen, Museen, Tourismus Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

7 Verknüpfung von Bildpunkten in Bildpaaren
„Feature Detection“ Verknüpfung von Bildpunkten in Bildpaaren Wiederfinden von Objekteigenschaften -> Navigation Bestimmung der Kamerapose -> visuelle Navigation Tiefenbilderzeugung -> Hindernisdetektion Suche äquivalenter Objekte in Bilddatenbank Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

8 Suche nach markanten Bildpunkten (Keypoints)
„Feature Detection“ Laplace-Pyramide Suche nach markanten Bildpunkten (Keypoints) Berechnung von DoG-Bildern, Difference of Gaussian - - Ausgangsbild Gauß-Filterung DoG-Bilder Gaußfilter Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

9 „Feature Detection“ Beispiel
Beispiel „Frau mit Hut“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

10 „Feature Detection“ Keypoints sind Pixel mit Maxima/Minima
Innerhalb von drei DoG-Ebenen und einer 3x3 Region 26 benachbarte Pixel ca Keypoints (512x512 Image) X Scale Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

11 „Feature Detection“ Charakterisierung der Keypoints erforderlich
Durch Gradientenbetrag und –richtung Werte werden in Histogramm akkumuliert 36 „Behälter“  ein Behälter 10% des Vollkreises Normierter Gradientenbetrag  Belichtungs-Invaranz Der höchste Wert bestimmt die Orientierung des Keypoint  Rotations-Invarianz Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

12 Lokale Abbildungs-Beschreibung
Funktionsweise ähnlich der von Säugetieren Visueller Cortex Gradienten-Richtungshistogramm SIFT-Key Vektor hat 160 Dimensionen! 8x4x4 + 8x2x2 (2 Oktaven) Gewichtung nach Gaußglocke Gradient= Helligkeitsverlauf Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

13 Indizieren und Abgleichen
Hohe Komplexität für eine genaue Lösung da hohe Dimension des Feature-Vectors Best-Bin-First Such Algorithmus Hat k-d-Baum als Grundlage Hohe Gewichtung der größeren Skalierung Laplace-Pyramide Hough-Transformation bestätigt bestimmte Model-Posen Finden der Punkte aus einer Datenbank Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

14 Indizieren und Abgleichen
Verlässliche Erkennung schon mit drei Features! Jeder Key-Point besitzt vier Parameter 2D Koordinaten, Orientierung, Skalierung Model-Keys beinhalten relative Parameter zum Model- Koordinatensystem Typisch sind 2000 features Bestimmung der Projektions parameter. Prüfung, ob gefundene Keypoints „passen“. Berechnung der Transformations parameter-> Prüfung der Hypothese Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

15 Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken
Beispiel „Rotation und Verdeckung“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

16 Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken
Beispiel „Schuh und Telefon“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

17 Beispiele Thorsten Jost – Navigation anhand natürlicher Landmarken
Beispiel „Beleuchtung“ Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

18 Posenbestimmung in Räumen
Bestimmung anhand von Passmarken Vorgegebene Datenbank Initiale Kalibrierung Notwendig Wir wollen SIFT! Statt Passmarken -> Landmarken finden Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

19 Posenbestimmung in Räumen
SLAMB = Simultaneous Localization And Map Building Lokalisierung mit SIFT Features Stereo Kamera System Erzeugung von „Landmarks“ Ego-Motion Bestimmung durch Kleinste Quadrate- Minimierung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

20 Posenbestimmung in Räumen
Bildebene ist „vorgelagert“ -> zur Veranschaulichung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

21 Posenbestimmung in Räumen
10cm Vorwärts 5° Rotation Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

22 Posenbestimmung in Räumen
Nach 249 Frames Vogelperspektive Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008

23 Thorsten Jost – Navigation anhand natürlicher Landmarken
Literatur Object Recognition from Local Scale-Invariant Features David G. Lowe (1999) Local Feature View Clustering for 3D Object Recognition David G. Lowe (2001) Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe (2004) Vision-based Mobile Robot Localization And Mapping using Scale-Invariant Features Stephen Se, David Lowe, Jim Little (2001) Mai 2008 Mai 2008 Mai 2008 Projekt und alle Themen zusammen bearbeitet Aufteilung der Themen nur für Präsi und Bericht Ich 13 Parameter Modell, Kalibrierung und Korrektur Thorsten: Raummodell, Positionsbestimmung Hintergründe und Auswertung Thorsten Jost – Navigation anhand natürlicher Landmarken 27. Mai 2008