Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr.

Ähnliche Präsentationen


Präsentation zum Thema: "Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr."—  Präsentation transkript:

1 Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp

2 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 1 Gliederung 1. Grundlagen 2. Algorithmen 3. Implementierung

3 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group Grundlagen Points of Interest Digitale Bilder Merkmalsextraktion Transformationen

4 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 3 Points of Interest interessante Punkte zielabhängig Eigenschaften – Informativ – Wenige Punkte – Reproduzierbar & nachvollziehbar Detektierte Punkte repräsentieren lokale Umgebung Deskriptoren nutzen Punkte zur Lösung einer Aufgabe Hier: Detektion von POIs Häufig POIs Eckpunkte bzw. Punkte, bei denen sich die 2D Struktur signifikant ändert

5 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 4 Beispielanwendung: Image Retrieval

6 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 5 …Beispielanwendung Matching durch Vergleich lokaler Regionen

7 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 6 Pixel Rasterdarstellung Endlich, diskreter Wertebereich Digitale Bilder

8 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 7 Merkmalsextraktion Kante genau zwischen zwei Pixelreihen

9 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 8 Merkmalsextraktion Kante schneidet eine Pixelreihe

10 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 9 Merkmalsextraktion Stufen-Kante genau zwischen den Pixelreihen

11 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 10 Merkmalsextraktion Stufen-Kante schneidet die Pixelreihen

12 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 11 Intensitätsvektor Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten

13 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 12 Kantentypen Sprungkante – Dachkante - Linienkante

14 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 13 Faltung Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt Eine Maske spiegelt die gesuchten Eigenschaften eines Bildmerkmals wieder Je genauer dies Maske auf den ausgewählten Bildabschnitt passt, desto größer ist die Summe der Multiplikation (Elementweise). Beispiel Masken

15 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 14 Faltung Beispiel: elementweise Skalarmultiplikation Bildausschnitt

16 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 15 Intensitätsfunktion Jeder Bildausschnitt hat für jede Maske eine Intensität Intensitätsfunktion mit Masken – Lesevektor wird in einem Winkel über das Bild gelegt – anhand einer Maske wird die Intensitäten bestimmt

17 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 16 Ableitung der Kantenfunktion Am Wendepunkt befindet sich die Kante Bildung der ersten Ableitung – Kante befindet sich beim lokalen Maximum Kante leichter zu erkennen

18 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 17 Rauschen Rauschen führt zu falschen Merkmalen Filter glätten eine Bild weniger falsche Merkmale

19 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 18 Kantenreduktion Non-Maximum Unterdrückung – Problem: Kante wird mehrfach gefunden – Ziel: Nur die kräftigste Kante soll dargestellt werden

20 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 19 Kantenreduktion Non-Maximum Unterdrückung – Lösung Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert.

21 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 20 Schwellenwert Einfache Schwellenwert-Operation – Oft nicht ausreichend – Es gibt verbesserte Versionen (Hysterese Schwellenwert- operation) Beispiel : Schwellenwert = 20

22 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 21 Transformationen Geometrisch – Lage von Punkten / Körpern in der Darstellungsebene wird verändert Fotometrisch – Änderung der Intensität der Bildpunkte – Betrifft Lichtwahrnehmung des menschlichen Auges

23 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 22 Pixelkoordinaten aus diskretem Wertebereich Ungenauigkeiten durch Verschieben von Pixeln – Beispiel Rotation: – Rotierter Körper schneidet mehrere Pixel im Zielbild – Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet? Verlust von Bildinformationen Translation, Skalierung, … Geometrische Transformationen

24 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 23 darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich verlustbehaftet Ausgangsbild, Helligkeits- und Kontraständerung Fotometrische Transformationen

25 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group Algorithmen Harris Kovesi SUSAN

26 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 25 Harris Detektor Ecken sind Points of Interest Detektion auf Basis von Itensitätswechseln Kanten werden zu Ecken verknüpft Bewertung jedes Bildpunktes bzgl. seiner Umgebung Pixel repräsentiert seine Umgebung

27 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 26 Harris Detektor Gradient der Intensität Approximiert durch Faltung mit Maske Je für x- und y-Richtung der Pixelmatrix Für alle Richtungen => Kovarianzmatrix

28 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 27 Ix 2 Iy 2 Ixy Harris Detektor

29 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 28 Harris Detektor Kovarianzmatrix M enthält alle Intensitätsänderungen Eigenvektoren zeigen in die Richtung des stärksten Anstiegs sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor.

30 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 29 Harris Detektor Aus Eigenvektoren kann eine Bewertung der Eckigkeit eines Punktes (bzw. seiner Umgebung) erstellt werden Harris: Noble:

31 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 30 Harris Detektor Ausgangsbild Mit Eckenbewertung

32 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 31 Harris Detektor Bewertung jedes Pixels nicht gewünscht: – Non-maximum-Unterdrückung – Schwellenwert-Hysterese => Nur ein POI innerhalb eines gewählten Radius.

33 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 32 Kovesi Problem – Kein optimaler Merkmalsdetektor vorhanden Ziel – Verbesserung der gegebenen Algorithmen in den Punkten: Eindeutige Identifizierung der Merkmale Genauere Lokalisation Weniger Parameter Justierung Rauschkompensation

34 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 33 Ansatz Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht

35 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 34 Dynamik der Fourier-Transformation Funktion für die Transformation Amplitudendämpfung Phasenverschiebung

36 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 35 Darstellung der Fourier-Transformation 3 unterschiedliche Amplitudendämpfung 180° Phasenverschiebung in jedem Bild Phasenverschiebung – Stärke der Ausprägung der Merkmale Amplitudendämpfung – Andere Klassifizierung durch Änderung der Schärfe Gittermodell

37 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 36 Phasenkongruenz ( Deckungsgleichheit ) In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen Die Intensität ( Energie ) dieser Punkte wird bei P.Kovesi mit der phase congruency 2 (PC2) Funktion bestimmt – auch gewichtete mittlere Phasenverschiebung genannt

38 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 37 Bestimmung der lokalen Energie Energie der Vektoren im Punkt x Vektorkette im komplexen Raum

39 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 38 Auswertung von PC2 Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° ) – 0 aufsteigende Stufe – ½ Pi helle Linie – Pi absteigende Stufe – 3/2 Pi dunkle Linie – Es wird zwischen auf- /absteigend und hell/dunkel nicht unterschieden ( Wertebereich bei der Auswertung zusammengefasst )

40 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 39 Phase Congruency 2 Eigenschaften – keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung – Verbesserte Identifizierung der Merkmale Zuordnung und Unterscheidung von Linien und Kanten – Verbesserte Lokalisierung der Merkmale – Kompensation von Rauschen

41 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 40 SUSAN Eckendetektor Smallest Univalue Segments Assimilating Nucleus

42 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 41 USAN – Univalue Segments Assimilating Nucleus

43 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 42 …USAN approximierte Kreisfläche mit 37 Pixeln dem Kern ( ) ähnliche Pixel werden abgezählt: o Kern

44 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 43 …USAN Größe des USAN: Beispiel: Größe = 34 Größe = o o Kern

45 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 44 SUSAN Principle Aussagen über die Struktur anhand der USAN-Größe: Der Kern liegt – in einer Fläche bei maximalem USAN, – auf oder nahe einer Kante, wenn das USAN die Hälfte des maximalen Wertes annimmt und – bei kleineren Werten innerhalb einer Ecke. Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden Smallest USAN – Fokus im Weiteren: SUSAN Eckendetektor

46 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 45 I. Zwischenstufen oder Linien Größe = 14 II. Rauschen Größe = 7 Ausnahmen o o

47 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group o Bereinigung um falsche Einträge I. Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein o Schwerpunkt

48 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 47 Bereinigung um falsche Einträge II. Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein Durch Rauschen treten Lücken innerhalb des USANs auf o o

49 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 48 Bedeutung der Parameter Geometrischer Grenzwert – Qualitativ: Welcher Punkt wird als Ecke erkannt? Ähnlichkeitswert – Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich dem Kern?

50 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 49 Anpassung der Indikatorfunktion Die Indikatorfunktion wird durch eine stetige Funktion angenähert:

51 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 50 Detektionsergebnis Ecken werden durch Non-Maximum-Unterdrückung aus der Matrix herausgefiltert.

52 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group Implementierung Testumgebung Probleme Auswertung Präsentation

53 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 52 Testumgebung Untersuchung der Robustheit der Detektoren Verschiedene Bildtransformationen 1. Rotation 2. Skalierung 3. Rauschen 4. Intensitätsänderungen Vergleich der Detektionsergebnisse 1. Genaue Übereinstimmung 2. Benachbarte Pixel 3. Nähere Umgebung

54 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 53 Probleme Transformationen nicht bijektiv Randbetrachtung Treppeneffekt: Rotation Intensitätsübergänge durch Interpolation abgeschwächt

55 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 54 Auswertung Viele Störfaktoren erschweren Auswertung Rauschen bereitete allen Detektoren Probleme PC2 invariant gegen Intensitätsänderungen Überwiegend ähnliche Ergebnisse Harris-Detektor benötigt deutlich weniger Rechenzeit

56 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 55 Präsentation

57 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 56 Literatur Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level Image Processing, in International Journal of Computer Vision 23(1) S.45-78, Kluwer Academic Publishers, 1997 Kovesi, P.: Phase Congruency Detects Corners and Edges, School of Computer Science & Software Engineering, University of Western Australia, 2003 Stephens, M. J., Harris, C. G.: A combined corner and edge detector, Plessey Research Roke Manor, United Kingdom, 1988

58 WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group 57 Ende Diskussion


Herunterladen ppt "Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr."

Ähnliche Präsentationen


Google-Anzeigen