Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“ Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp

Gliederung Grundlagen Algorithmen Implementierung 1

1. Grundlagen Points of Interest Digitale Bilder Merkmalsextraktion Transformationen 2

Points of Interest „interessante Punkte“  zielabhängig Eigenschaften Informativ Wenige Punkte Reproduzierbar & nachvollziehbar Detektierte Punkte repräsentieren lokale Umgebung Deskriptoren nutzen Punkte zur Lösung einer Aufgabe Hier: Detektion von POIs Häufig POIs  Eckpunkte bzw. Punkte, bei denen sich die 2D Struktur signifikant ändert 3

Beispielanwendung: Image Retrieval 4

…Beispielanwendung Matching durch Vergleich lokaler Regionen 5

Digitale Bilder Pixel  Rasterdarstellung Endlich, diskreter Wertebereich 6

Merkmalsextraktion Kante genau zwischen zwei Pixelreihen 7

Merkmalsextraktion Kante schneidet eine Pixelreihe 8

Merkmalsextraktion Stufen-Kante genau zwischen den Pixelreihen 9

Merkmalsextraktion Stufen-Kante schneidet die Pixelreihen 10

Intensitätsvektor Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten 11

Kantentypen Sprungkante – Dachkante - Linienkante 12

Faltung Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt Eine Maske spiegelt die gesuchten Eigenschaften eines Bildmerkmals wieder Je genauer dies Maske auf den ausgewählten Bildabschnitt passt, desto größer ist die Summe der Multiplikation (Elementweise). Beispiel Masken 13

Faltung Beispiel: elementweise Skalarmultiplikation Bildausschnitt 14

Intensitätsfunktion Jeder Bildausschnitt hat für jede Maske eine Intensität Intensitätsfunktion mit Masken Lesevektor wird in einem Winkel über das Bild gelegt anhand einer Maske wird die Intensitäten bestimmt 15

Ableitung der Kantenfunktion Am Wendepunkt befindet sich die Kante Bildung der ersten Ableitung Kante befindet sich beim lokalen Maximum Kante leichter zu erkennen 16

Rauschen Rauschen führt zu falschen Merkmalen Filter glätten eine Bild weniger falsche Merkmale 17

Kantenreduktion Non-Maximum Unterdrückung Problem: Kante wird mehrfach gefunden Ziel: Nur die kräftigste Kante soll dargestellt werden 18

Kantenreduktion Non-Maximum Unterdrückung Lösung Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert. 19

Schwellenwert Einfache Schwellenwert-Operation Oft nicht ausreichend Es gibt verbesserte Versionen (Hysterese Schwellenwert-operation) Beispiel : Schwellenwert = 20 20

Transformationen Geometrisch Fotometrisch Lage von Punkten / Körpern in der Darstellungsebene wird verändert Fotometrisch Änderung der Intensität der Bildpunkte Betrifft Lichtwahrnehmung des menschlichen Auges 21

Geometrische Transformationen Pixelkoordinaten aus diskretem Wertebereich Ungenauigkeiten durch Verschieben von Pixeln Beispiel Rotation: Rotierter Körper schneidet mehrere Pixel im Zielbild Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?  Verlust von Bildinformationen Translation, Skalierung, … 22

Fotometrische Transformationen darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich  verlustbehaftet Ausgangsbild, Helligkeits- und Kontraständerung 23

2. Algorithmen Harris Kovesi SUSAN 24

Harris Detektor Ecken sind Points of Interest Detektion auf Basis von Itensitätswechseln Kanten werden zu Ecken „verknüpft“ Bewertung jedes Bildpunktes bzgl. seiner Umgebung Pixel repräsentiert seine Umgebung 25

Harris Detektor Gradient der Intensität Approximiert durch Faltung mit Maske Je für „x“- und „y“-Richtung der Pixelmatrix Für alle Richtungen => Kovarianzmatrix 26

Harris Detektor Ix2 Iy2 Ixy 27

Harris Detektor Kovarianzmatrix M enthält alle Intensitätsänderungen Eigenvektoren zeigen in die Richtung des stärksten Anstiegs sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor. 28

Harris Detektor Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden Harris: Noble: 29

Harris Detektor Ausgangsbild Mit Eckenbewertung 30

Harris Detektor Bewertung jedes Pixels nicht gewünscht: Non-maximum-Unterdrückung Schwellenwert-Hysterese => Nur ein POI innerhalb eines gewählten Radius. 31

Kovesi Problem Ziel Kein optimaler Merkmalsdetektor vorhanden Verbesserung der gegebenen Algorithmen in den Punkten: Eindeutige Identifizierung der Merkmale Genauere Lokalisation Weniger Parameter Justierung Rauschkompensation 32

Ansatz Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht 33

Dynamik der Fourier-Transformation Funktion für die Transformation Amplitudendämpfung Phasenverschiebung 34

Darstellung der Fourier-Transformation 3 unterschiedliche Amplitudendämpfung 180° Phasenverschiebung in jedem Bild Phasenverschiebung Stärke der Ausprägung der Merkmale Amplitudendämpfung Andere Klassifizierung durch Änderung der Schärfe Gittermodell 35

Phasenkongruenz ( Deckungsgleichheit ) In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen Die Intensität ( Energie ) dieser Punkte wird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt auch gewichtete mittlere Phasenverschiebung genannt 36

Bestimmung der lokalen Energie Energie der Vektoren im Punkt x Vektorkette im komplexen Raum 37

Auswertung von PC2 Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° ) 0 aufsteigende Stufe ½ Pi helle Linie Pi absteigende Stufe 3/2 Pi dunkle Linie Es wird zwischen auf- /absteigend und hell/dunkel nicht unterschieden ( Wertebereich bei der Auswertung zusammengefasst ) 38

Phase Congruency 2 Eigenschaften keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung Verbesserte Identifizierung der Merkmale Zuordnung und Unterscheidung von Linien und Kanten Verbesserte Lokalisierung der Merkmale Kompensation von Rauschen 39

SUSAN Eckendetektor Smallest Univalue Segments Assimilating Nucleus 40

USAN – Univalue Segments Assimilating Nucleus 41

…USAN approximierte Kreisfläche mit 37 Pixeln dem Kern ( ) ähnliche Pixel werden abgezählt: + + + + + + + + + + + + + + + + + + o + + + Kern 42

…USAN Größe des USAN: Beispiel:  Größe = 34  Größe = 13 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + o + + + Kern 43

SUSAN Principle Aussagen über die Struktur anhand der USAN-Größe: Der Kern liegt in einer Fläche bei maximalem USAN, auf oder nahe einer Kante, wenn das USAN die Hälfte des maximalen Wertes annimmt und bei kleineren Werten innerhalb einer Ecke. Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden  Smallest USAN Fokus im Weiteren: SUSAN Eckendetektor 44

I. Zwischenstufen oder Linien Ausnahmen I. Zwischenstufen oder Linien  Größe = 14 II. Rauschen  Größe = 7 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + o + + + 45

Bereinigung um falsche Einträge I. Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein Schwerpunkt + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + o + + + 46

Bereinigung um falsche Einträge II. Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + o + + + 47

Bedeutung der Parameter Geometrischer Grenzwert Qualitativ: Welcher Punkt wird als Ecke erkannt? Ähnlichkeitswert Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich dem Kern? 48

Anpassung der Indikatorfunktion Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 49

Detektionsergebnis Ecken werden durch Non-Maximum-Unterdrückung aus der Matrix herausgefiltert. 50

3. Implementierung Testumgebung Probleme Auswertung Präsentation 51

Testumgebung Untersuchung der Robustheit der Detektoren Verschiedene Bildtransformationen Rotation Skalierung Rauschen Intensitätsänderungen Vergleich der Detektionsergebnisse Genaue Übereinstimmung Benachbarte Pixel Nähere Umgebung 52

Probleme Transformationen nicht bijektiv Randbetrachtung Treppeneffekt: Rotation  Intensitätsübergänge durch Interpolation abgeschwächt 53

Auswertung Viele Störfaktoren erschweren Auswertung Rauschen bereitete allen Detektoren Probleme PC2 „invariant“ gegen Intensitätsänderungen Überwiegend ähnliche Ergebnisse Harris-Detektor benötigt deutlich weniger Rechenzeit 54

Präsentation 55

Literatur Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level Image Processing, in International Journal of Computer Vision 23(1) S.45-78, Kluwer Academic Publishers, 1997 Kovesi, P.: Phase Congruency Detects Corners and Edges, School of Computer Science & Software Engineering, University of Western Australia, 2003 Stephens, M. J., Harris, C. G.: A combined corner and edge detector, Plessey Research Roke Manor, United Kingdom, 1988 56

julian-hartmann@gmx.de slawi@gmx.de christoph@suenderkamp.de Diskussion julian-hartmann@gmx.de slawi@gmx.de christoph@suenderkamp.de 57