A Model of Saliency-Based Visual Attention for Rapid Scene Analysis Hauptseminar Aufmerksamkeit und Objekterkennung SS 2000 - 15.05.2000 Rebecca Fay

Seminar Aufmerksamkeit & Objekterkennung Modell - Übersicht Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Modell Vorgehensweise Getrenntes Betrachten der Eigenschaften Farbe, Intensität und Orientierung (Parallele Eigenschaftsextraktion) Erstellen von Eigenschaftskarten Erstellen von Gauss- bzw. Gaborpyramiden Bestimmung der Zentrums-Umgebungs-Differenzen Normalisierung Erstellen von Auffälligkeitskarten Kombinieren der Eigenschaftskarten Erstellen einer Salienzkarte Aufmerksamkeit entsprechend abnehmender Salienz verschieben Ziel Schnelles Bestimmen von herausragenden Punkten Beschleunigung der Szenen Analyse (Bildinterpretation) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Eigenschaften Farbe 4 Farben (rot, grün, blau, gelb) 3 ursprüngliche Farbkanäle (rot, grün, blau) Ableiten eines 4. Farbkanals (gelb) 2 Gegenfarbpaare (rot/grün, blau/gelb) Intensität (Helligkeit) Orientierung 4 Orientierungen (0°, 45°, 90°, 135°) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Lineare Filterung Vorgehensweise Verwenden von Gauss- bzw. Gaborfiltern Erstellen von neunstufigen Gauss- bzw. Gaborpyramiden Ergebnis 9 Pyramiden Ziel Glätten (Herausfiltern von Rauschen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Zentrums-Umgebungs-Differenzen Vorgehensweise Bestimmung der Differenzen zwischen einzelnen Ebenen der Pyramiden zueinander Interpolieren der Bilder mit der gröberen Auflösung auf die Größe des zu vergleichenden Bildes Punktweises Subtrahieren Ziel Kontrastbestimmung (Für Punkte mit starkem Kontrast zu ihrer Umgebung entstehen große Differenzen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Normalisierung Vorgehensweise Bestimmen des absoluten Maximums M der betrachteten Karte Normalisierung (Abbildung des Wertebereichs der Karte auf das Intervall [0..M]) Bestimmen der lokalen Maxima mi Bilden des Mittelwerts der lokalen Maxima mi (ohne Berücksichtigung des absolute Maximums M) Multiplizieren der Karte mit der quadrierten Differenz des absoluten Maximums und des Mittelwertes Ziel Vergleichbarkeit der unterschiedlichen Karten Stärkere Gewichtung von Karten mit aufmerksamkeitserzeugendem Kontrast Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Normalisierung Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Eigenschaftskarten Vorgehensweise Bestimmen der Zentrums-Umgebungs-Differenz Normalisierung Ergebnis 42 Eigenschaftskarten Ziel Verteilung von Zentrums-Umgebungs-Kontrasten bei unterschiedlichen Auflösungsstufen für die einzelnen Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Auffälligkeitskarten Vorgehensweise Reduzieren aller Eigenschaftskarten auf die Auflösung 1:16 Addieren der Eigenschaftskarten Normalisierung Ergebnis 3 Auffälligkeitskarten Farbe Intensität Orientierung Ziel Auffälligkeitsverteilung getrennt nach Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Salienzkarte Vorgehensweise Kombinieren der Auffälligkeitskarten Ziel Salienzverteilung (welchen Kontrast zu ihrer Umgebung weisen die einzelnen Bildbereiche auf?) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Aufmerksamkeitsverschiebung Vorgehensweise Neuronales „winner-take-all“ Netzwerk Richten der Aufmerksamkeit auf den Punkt, für den die größte Salienz berechnet wurde Dieser Punkt weist hinsichtlich Farbe, Intensität oder Orientierung den größten Kontrast zur Umgebung auf. Inhibition of Return Hemmen der Neuronen, die dieser Stelle zugeordnet sind Ziel Verhindern, daß die Aufmerksamkeit mehrmals auf den selben Punkt gerichtet wird Verschiebung der Aufmerksamkeit entsprechend abnehmender Salienz Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Beispiel 1a - Eingabe + Ergebniskarten Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Beispiel 1b - Focus of Attention Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Beispiel 2 - Eingabe + Salienzkarten a) Eingabe: Farbbilder b) Ergebnis: Salienz-Karten Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000

Seminar Aufmerksamkeit & Objekterkennung Referenz IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, November 1998 - Laurent Itti, Christof Koch, Ernst Niebur http://www.klab.caltech.edu/~itti/attention/publications/98_PAMI/pami_final.html Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay 15.05.2000 - SS 2000