The PicSOM Retrieval System 1 Christian Steinberg

The PicSOM Retrieval System2 Überblick 1.Einführung PicSOM: 2.Self-Organizing Map 3.Tree Structured SOM 4.Image Retrieval mit PicSOM 5.Zusammenfassung

The PicSOM Retrieval System3 1.1 Einführung  Bedarf an effektiven Methoden im Bereich CBIR (Content-Based Image Retrieval)  Beschreibung von Bildern durch Low- Level Merkmale (Farbe, Textur, primitive Formen)  Einbeziehung des Users zum Erkennen von High-Level Merkmalen

The PicSOM Retrieval System4 1.2 Einführung  PicSOM Framework zum Erarbeiten von Algorithmen und Methoden für CBIR Arbeitet mit Beispielbildern (User/DB) User gibt Relevanz an (relevant/nichtrelevant) System lernt durch Feedback

The PicSOM Retrieval System5 2.1 Self-Organizing Map  Elastischen Netz von Punkten  Visualisierung von hochdimensionalen Daten in einer 2D Karte  Punkte werden durch Neuronen dargestellt, jedem Punkt i wird ein Model- Vektor m i zugeordnet (Eigenschaft des jeweiligen Bildes in der DB)

The PicSOM Retrieval System6 2.2 Self-Organizing Map  Karte wird anfangs geordnet  Nachbarschaft bedeutet Ähnlichkeit  Bei neuer Eingabe Suchen des Neurons mit kleinstem Abstand (O(n)) Anpassen der Karte

The PicSOM Retrieval System7 2.3 Self-Organizing Map

The PicSOM Retrieval System8 3.1 Tree Structured SOM  Hierarchische Präsentation  Jede Ebene ist eine SOM  Suche nach dem Neuron mit geringsten Abstand verringert sich auf O(logn)

The PicSOM Retrieval System9 3.2 Tree Structured SOM  Jede Ebene Repräsentiert ein Feature  TS-SOM wird von oben herab sortiert  Dabei werden die Featurevektoren der Eingabebilder benutzt

The PicSOM Retrieval System Image Retrieval mit PicSOM  Iterativer Prozess  Suche beginnt mit Repräsentativen Bildern der höheren Ebenen des TS- SOMs  Nächsten Schritte passen sich der Auswahl des Nutzers an

The PicSOM Retrieval System Image Retrieval mit PicSOM  Intern werden Bilder positiv/negativ markiert für gewählt/nicht gewählt  Anhand dieser Information wird dem User ein neues Set von Bildern präsentiert

The PicSOM Retrieval System Image Retrieval mit PicSOM  Funktionsweise SOMs werden als 2D Matrizen betrachtet es wird mehr Gewicht auf Regionen mit nah beieinanderliegenden positiven Neuronen (Bildern) gelegt (z.B. bestimmte Farbwerte) Es wird ein Tiefenpassfilter mit einer symmetrischen Convolution Maske angewendet  Regionen mit möglichen „Treffern“

The PicSOM Retrieval System Image Retrieval mit PicSOM

The PicSOM Retrieval System Image Retrieval mit PicSOM  Aus den entstehenden ‚weißen‘ Regionen werden repräsentative Bilder herausgesucht und dem User gezeigt  Es beginnt eine erneuter Durchlauf

The PicSOM Retrieval System Image Retrieval mit PicSOM  PicSOM ist WWW- basiert und kann (wenn der Server wieder steht) unter folgender URL gefunden werden:

The PicSOM Retrieval System16 5. Zusammenfassung  Gute Strukturierung von Bildern durch ihre Merkmale  Gute Suchzeit durch Baumstruktur der ‚Datenbank‘  PicSOM wird als Picture Search Engine für das Internet vorbereitet (Stand 2000)

The PicSOM Retrieval System17 Vielen Dank!