Gliederung Grundlagen Algorithmen Implementierung 1.

Präsentation zum Thema: "Gliederung Grundlagen Algorithmen Implementierung 1."—  Präsentation transkript:

0 Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“ Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp

1 Gliederung Grundlagen Algorithmen Implementierung 1

2 1. Grundlagen Points of Interest Digitale Bilder Merkmalsextraktion
Transformationen 2

3 Points of Interest „interessante Punkte“  zielabhängig Eigenschaften
Informativ Wenige Punkte Reproduzierbar & nachvollziehbar Detektierte Punkte repräsentieren lokale Umgebung Deskriptoren nutzen Punkte zur Lösung einer Aufgabe Hier: Detektion von POIs Häufig POIs  Eckpunkte bzw. Punkte, bei denen sich die 2D Struktur signifikant ändert 3

4 Beispielanwendung: Image Retrieval
4

5 …Beispielanwendung Matching durch Vergleich lokaler Regionen 5

6 Digitale Bilder Pixel  Rasterdarstellung Endlich, diskreter
Wertebereich 6

7 Merkmalsextraktion Kante genau zwischen zwei Pixelreihen 7

8 Merkmalsextraktion Kante schneidet eine Pixelreihe 8

9 Merkmalsextraktion Stufen-Kante genau zwischen den Pixelreihen 9

10 Merkmalsextraktion Stufen-Kante schneidet die Pixelreihen 10

11 Intensitätsvektor Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten 11

12 Kantentypen Sprungkante – Dachkante - Linienkante 12

13 Faltung Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt Eine Maske spiegelt die gesuchten Eigenschaften eines Bildmerkmals wieder Je genauer dies Maske auf den ausgewählten Bildabschnitt passt, desto größer ist die Summe der Multiplikation (Elementweise). Beispiel Masken 13

14 Faltung Beispiel: elementweise Skalarmultiplikation Bildausschnitt 14

15 Intensitätsfunktion Jeder Bildausschnitt hat für jede Maske eine Intensität Intensitätsfunktion mit Masken Lesevektor wird in einem Winkel über das Bild gelegt anhand einer Maske wird die Intensitäten bestimmt 15

16 Ableitung der Kantenfunktion
Am Wendepunkt befindet sich die Kante Bildung der ersten Ableitung Kante befindet sich beim lokalen Maximum Kante leichter zu erkennen 16

17 Rauschen Rauschen führt zu falschen Merkmalen Filter glätten eine Bild
weniger falsche Merkmale 17

18 Kantenreduktion Non-Maximum Unterdrückung Problem:
Kante wird mehrfach gefunden Ziel: Nur die kräftigste Kante soll dargestellt werden 18

19 Kantenreduktion Non-Maximum Unterdrückung Lösung
Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert. 19

20 Schwellenwert Einfache Schwellenwert-Operation Oft nicht ausreichend
Es gibt verbesserte Versionen (Hysterese Schwellenwert-operation) Beispiel : Schwellenwert = 20 20

21 Transformationen Geometrisch Fotometrisch
Lage von Punkten / Körpern in der Darstellungsebene wird verändert Fotometrisch Änderung der Intensität der Bildpunkte Betrifft Lichtwahrnehmung des menschlichen Auges 21

22 Geometrische Transformationen
Pixelkoordinaten aus diskretem Wertebereich Ungenauigkeiten durch Verschieben von Pixeln Beispiel Rotation: Rotierter Körper schneidet mehrere Pixel im Zielbild Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?  Verlust von Bildinformationen Translation, Skalierung, … 22

23 Fotometrische Transformationen
darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich  verlustbehaftet Ausgangsbild, Helligkeits- und Kontraständerung 23

24 2. Algorithmen Harris Kovesi SUSAN 24

25 Harris Detektor Ecken sind Points of Interest
Detektion auf Basis von Itensitätswechseln Kanten werden zu Ecken „verknüpft“ Bewertung jedes Bildpunktes bzgl. seiner Umgebung Pixel repräsentiert seine Umgebung 25

26 Harris Detektor Gradient der Intensität
Approximiert durch Faltung mit Maske Je für „x“- und „y“-Richtung der Pixelmatrix Für alle Richtungen => Kovarianzmatrix 26

27 Harris Detektor Ix2 Iy2 Ixy 27

28 Harris Detektor Kovarianzmatrix M enthält alle Intensitätsänderungen
Eigenvektoren zeigen in die Richtung des stärksten Anstiegs sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor. 28

29 Harris Detektor Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden Harris: Noble: 29

30 Harris Detektor Ausgangsbild Mit Eckenbewertung 30

31 Harris Detektor Bewertung jedes Pixels nicht gewünscht:
Non-maximum-Unterdrückung Schwellenwert-Hysterese => Nur ein POI innerhalb eines gewählten Radius. 31

32 Kovesi Problem Ziel Kein optimaler Merkmalsdetektor vorhanden
Verbesserung der gegebenen Algorithmen in den Punkten: Eindeutige Identifizierung der Merkmale Genauere Lokalisation Weniger Parameter Justierung Rauschkompensation 32

33 Ansatz Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht 33

34 Dynamik der Fourier-Transformation
Funktion für die Transformation Amplitudendämpfung Phasenverschiebung 34

35 Darstellung der Fourier-Transformation
3 unterschiedliche Amplitudendämpfung 180° Phasenverschiebung in jedem Bild Phasenverschiebung Stärke der Ausprägung der Merkmale Amplitudendämpfung Andere Klassifizierung durch Änderung der Schärfe Gittermodell 35

36 Phasenkongruenz ( Deckungsgleichheit )
In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen Die Intensität ( Energie ) dieser Punkte wird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt auch gewichtete mittlere Phasenverschiebung genannt 36

37 Bestimmung der lokalen Energie
Energie der Vektoren im Punkt x Vektorkette im komplexen Raum 37

38 Auswertung von PC2 Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° ) 0 aufsteigende Stufe ½ Pi helle Linie Pi absteigende Stufe 3/2 Pi dunkle Linie Es wird zwischen auf- /absteigend und hell/dunkel nicht unterschieden ( Wertebereich bei der Auswertung zusammengefasst ) 38

39 Phase Congruency 2 Eigenschaften
keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung Verbesserte Identifizierung der Merkmale Zuordnung und Unterscheidung von Linien und Kanten Verbesserte Lokalisierung der Merkmale Kompensation von Rauschen 39

40 SUSAN Eckendetektor Smallest Univalue Segments Assimilating Nucleus 40

41 USAN – Univalue Segments Assimilating Nucleus
41

42 …USAN approximierte Kreisfläche mit 37 Pixeln
dem Kern ( ) ähnliche Pixel werden abgezählt: + + + + + + o + + + Kern 42

43 …USAN Größe des USAN: Beispiel:  Größe = 34  Größe = 13 + + +
+ + + o + + + + + + + + + o + + + Kern 43

44 SUSAN Principle Aussagen über die Struktur anhand der USAN-Größe:
Der Kern liegt in einer Fläche bei maximalem USAN, auf oder nahe einer Kante, wenn das USAN die Hälfte des maximalen Wertes annimmt und bei kleineren Werten innerhalb einer Ecke. Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden  Smallest USAN Fokus im Weiteren: SUSAN Eckendetektor 44

45 I. Zwischenstufen oder Linien
Ausnahmen I. Zwischenstufen oder Linien  Größe = 14 II. Rauschen  Größe = 7 + + + + + + o + + + + + + + + + o + + + 45

46 Bereinigung um falsche Einträge I.
Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein Schwerpunkt + + + + + + o + + + + + + + + + o + + + 46

47 Bereinigung um falsche Einträge II.
Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + o + + + + + + + + + o + + + 47

48 Bedeutung der Parameter
Geometrischer Grenzwert Qualitativ: Welcher Punkt wird als Ecke erkannt? Ähnlichkeitswert Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich dem Kern? 48

49 Anpassung der Indikatorfunktion
Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 49

50 Detektionsergebnis Ecken werden durch Non-Maximum-Unterdrückung aus der Matrix herausgefiltert. 50

51 3. Implementierung Testumgebung Probleme Auswertung Präsentation 51

52 Testumgebung Untersuchung der Robustheit der Detektoren
Verschiedene Bildtransformationen Rotation Skalierung Rauschen Intensitätsänderungen Vergleich der Detektionsergebnisse Genaue Übereinstimmung Benachbarte Pixel Nähere Umgebung 52

53 Probleme Transformationen nicht bijektiv Randbetrachtung
Treppeneffekt: Rotation  Intensitätsübergänge durch Interpolation abgeschwächt 53

54 Auswertung Viele Störfaktoren erschweren Auswertung
Rauschen bereitete allen Detektoren Probleme PC2 „invariant“ gegen Intensitätsänderungen Überwiegend ähnliche Ergebnisse Harris-Detektor benötigt deutlich weniger Rechenzeit 54

55 Präsentation 55

56 Literatur Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level Image Processing, in International Journal of Computer Vision 23(1) S.45-78, Kluwer Academic Publishers, 1997 Kovesi, P.: Phase Congruency Detects Corners and Edges, School of Computer Science & Software Engineering, University of Western Australia, 2003 Stephens, M. J., Harris, C. G.: A combined corner and edge detector, Plessey Research Roke Manor, United Kingdom, 1988 56

57 julian-hartmann@gmx.de slawi@gmx.de christoph@suenderkamp.de
Diskussion 57