Justus Brückel Diplomarbeit Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens

2/36 Gliederung ● Inhalt und Kontext der Arbeit ● Existierende Verfahren zur Erkennung von Objektumrissen ● „SIFTwire“ - Vorstellung des eigenen Ansatzes ● Evaluation ● Erweiterungen ● Fazit und Ausblick

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens3/36 Inhalt und Kontext der Arbeit Problem ● Trennung mehrerer Hauptmotive eines Bildes voneinander ● Trennung der Hauptmotive vom Bildhintergrund ● Hierbei wünschenswert: möglichst wenig Benutzerinteraktion und Benutzervorwissen ● Klassische, rein syntaktische Verfahren (z.B. kantenbasierte und regionenbasierte Verfahren) liefern i.d.R. keine befriedigenden Ergebnisse, da Objekte nicht ohne Vorwissen erkannt werden können

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens4/36 Existierende Verfahren Template Matching ● Suche im Bild nach Mustern anhand einer Bild- oder Datenbankvorlage ● Gesamtes Bild wird auf Ähnlichkeit mit dem zu suchenden Muster durchsucht ● Lässt sich mit Vorauswahl von potentiellen Kandidaten beschleunigen

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens5/36 Existierende Verfahren GrabCut ● Bildsegmentierung mit geringer Benutzerinteraktion ● Algorithmus separiert Hauptmotiv vom Hintergrund anhand von Texturinformationen ● Hauptmotiv wird anschließend anhand der Kanteninformation segmentiert ● Fehlsegmentierungen mit wenigen Mausklicks korrigierbar

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens6/36 Existierende Verfahren Verfahren im Überblick ● Template Matching [Ade84] ● GrabCut [Rot04] ● Snakes [Kas88] ● Toboggan Scissors [Mor99] ● Saliente Punkte, Keypoint-Matching [Low04], [Lei04] ● Livewire [Mor95], [Bag06]

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens7/36 Existierende Verfahren Kernverfahren des eigenen Ansatzes: SIFT ● SIFT: Scale Invariant Feature Transform [Low04] ● Findet markante Bildregionen (Keypoints / Salienzpunkte) ● Unabhängig von Bildgröße und Bildrotation ● Teilweise unabhängig von Verzerrung, Beleuchtungsänderung und Perspektive ● Hauptanwendung: Auffinden von ähnlichen Bildbestandteilen in Datenbanken

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens8/36 Existierende Verfahren Anwendungsbeispiel: SIFT-Matching

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens9/36 Existierende Verfahren Kernverfahren des eigenen Ansatzes: Livewire ● Livewire [Mor95] ● Basiert auf dem Kürzeste-Wege Algorithmus von Edsger Dijkstra [Dij59] ● Knoten des Graphen werden durch die Bildpixel dargestellt ● Kanten ergeben sich aus der gewichteten Verbindung zu den acht umliegenden Pixeln ● Gewichtung der Kosten eines Pfades vor allem anhand der lokalen Gradientenstärke und -richtung ● Initialisierung anhand benutzergesetzter Ankerpunkte

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens10/36 Existierende Verfahren Anwendungsbeispiel Livewire

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens11/36 „SIFTwire“ - Der eigene Ansatz Ziel: Semiautomatische Objektsegmentierung ● Bildobjekt wird vom Benutzer mit Markierung gekennzeichnet (Oval, Rechteck, Freihand- Markierung) ● Auch „Markierung“ durch Template-Matching möglich

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens12/36 „SIFTwire“ - Der eigene Ansatz Operatorantworten ● Darstellung der vom SIFT- Operator gefundenen Keypoints

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens13/36 „SIFTwire“ - Der eigene Ansatz Entfernung einsamer Punkte ● Entfernung von Punkten, die sich mehr als eine vorgegebene Strecke von einem weiteren Punkt entfernt befinden ● Zweck: Eliminierung von Operatorantworten aus Bildrauschen / aus dem Bildhintergrund

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens14/36 „SIFTwire“ - Der eigene Ansatz Entfernen von Punkten mit geringen Kontrast ● Eliminierung von Punkten auf Flächen, auch innerhalb des Objektes

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens15/36 „SIFTwire“ - Der eigene Ansatz Ermittlung der konvexen Objekthülle mittels Graham Scan ● Konkave Objekthülle algorithmisch nicht eindeutig lösbar ● Lösung: konvexe Objekthülle ermitteln [Gra72] und ursprünglichen Objektumriss durch Umrissverfeinerung rekonstruieren.

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens16/36 „SIFTwire“ - Der eigene Ansatz Umrissverfeinerung ● Referenzpunkte werden auf die Strecke zwischen zwei vorhandenen Punkten gesetzt ● Anschließend Suche nach nahestem Punkt aus der gefilterten Punktmenge

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens17/36 „SIFTwire“ - Der eigene Ansatz Bedingungen für die Umrissverfeinerung ● Bedingung für Referenzpunkte: ● Bedingung für gesuchten neuen Punkt: ● Bedingungen entsprechen Distanzeinschränkungen für die zu wählenden Punkte des Objektumrisses:

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens18/36 „SIFTwire“ - Der eigene Ansatz Bedingungen für die Umrissverfeinerung ● Einfluss der Distanzeinschränkungen:

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens19/36 „SIFTwire“ - Der eigene Ansatz Umrissverfeinerung II

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens20/36 „SIFTwire“ - Der eigene Ansatz Vervollständigung des Objektumrisses mittels Livewire

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens21/36 Evaluation Auswertung ● Vergleich des Verfahrens mit manuell per Livewire segmentierten Bildern (Referenzverfahren) ● Farbliche Kennzeichnung der jeweils gefundenen Flächen ● Skalierte Darstellung als Diagramm

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens22/36 Evaluation Tabletop-Fotos ● Bildobjekte vor gleichmäßigem Hintergrund (fünf Bilder)

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens23/36 Evaluation Aufnahmen mit Teleobjektiven / selektiver Schärfeebene ● Ebenfalls relativ gleichmäßiger Hintergrund durch Unschärfe (zehn Bilder)

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens24/36 Evaluation Erkennungsrate für die beiden betrachteten Bildklassen ● Tabletop-Fotos zeigen Tendenz zu „Einkerbungen“ in das Objekt ● Fotos mit Teleobjektiven zeigen Tendenz zu „Überhängen“

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens25/36 Evaluation Grenzen des Verfahrens ● Fehlsegmentierungen aufgrund zu stark strukturierten Hintergrundes:

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens26/36 Erweiterungen Verbesserte Ergebnisse durch Freihand- Segmentierung (aber: mehr Benutzeraufwand)

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens27/36 Erweiterungen Vorsegmentierung durch den in [Lei04] vorgestellten Ansatz ● Segmentierung durch [Lei04] (Keypoints + Template- Matching):

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens28/36 Erweiterungen Verfeinerung der Segmentierung von [Lei04] ● Segmentierung von [Lei04] genutzt entsprechend der zuvor vorgestellten Benutzermarkierung:

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens29/36 Erweiterungen “Spitzen“ ● Problem der „Spitzen“ bei der Segmentierung:

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens30/36 Erweiterungen Verschieben der Ankerpunkte ● Lösungsansatz: Verschieben der Ankerpunkte um die jeweils halbe Strecke zum nächsten Punkt entlang des Livewire-Pfades

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens31/36 Erweiterungen Erneute Livewire-Abarbeitung ● Erneute Abarbeitung des Livewire-Graphen anhand der verschobenen Ankerpunkte ergibt Segmentierung ohne „Spitzen“

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens32/36 Fazit und Ausblick Fazit ● Vorgestellt wurde ein Verfahren zur semiautomatischen Segmentierung von Objektkonturen ● Sinnvolle Anwendung für Bilder mit gleichmäßigem Hintergrund / selektiver Schärfeebene mit geringem Benutzeraufwand ● Segmentierung von Bildern der „Table-Top“-Klasse bereits vollautomatisch durchführbar ● Erste Experimente zeigen Anwendbarkeit als vollautomatisches Segmentierungsverfahren anhand von Modellwissen

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens33/36 Fazit und Ausblick Ausblick ● Alle bisherigen Ergebnisse basieren auf gleichbleibenden Parametern für alle Bilder ● Kernverfahren, Filterstufen und Umrissverfeinerung des eigenen Verfahrens lassen sich umfangreich parametrisieren ● Bessere Segmentierung durch spezielle Parametrisierung für bestimmte Objektklassen zu erwarten ● Anwendbar als Vorkategorisierung ➔ Vorschlag für manuelle Segmentierung ➔ Auswahl potentieller Objekt-Kandidaten

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens34/36 Vielen Dank für Ihre Aufmerksamkeit!

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens35/36 Literatur ● [Ade84]E. H. Adelson, C. H. Anderson, J. R. Bergen, P. J. Burt, J. M. Odgen. Pyramid methods in image processing. RCA Engineer, vol. 29, no ● [Bag06]D. L. Baggio. Intravascular Ultra Sound Image Segmentation Algorithms, Instituto Tecnológico De Aeronáutica ● [Dij59]E. Dijkstra. A Note on Two Problems in Connexion with graphs. Numerische Mathematik 1, pp ● [Gra72]R. Graham. An Efficient Algorithm for Detemining the Convex Hull of a Finite Planar Set. Information Processing Letters, vol. 1, pp ● [Kas88]M. Kass, A. Witkin, D. Terzopoulos. Snakes: Active Contour Models. International Journal of Computer Vision, vol. 1, no 4, pp

Erkennung von Objektkonturen anhand salienter Punkte und eines Livewire-Verfahrens36/36 Literatur ● [Lei04] B. Leibe, B. Schiele. Scale-Invariant Object Categorization Using a Scale-Adaptive Mean-Shift Search. DAGM ● [Low04] D.G. Lowe. Distinctive Image Features fromScale-Invariant Keypoints. International Journal of Computer Vision ● [Mor05]E. N. Mortensen, W. A. Barret. Intelligent Scissors for image Composition. Proc. of the ACM SIGGRAPH 95. ● [Mor99]E. N. Mortensen, W. A. Barret. Toboggan-Based Intelligent Scissors with a Four Parameter Edge Model. Computer Vision and Pattern Recognition, vol. 2, pp ● [Rot04]C. Rother, V. Kolmogorov, A. Blake. GrabCut: Interactive Foreground Extraction using Iterated Graph Cuts. ACM Transactions on Graphics (SIGGRAPH '04)