A Model of Saliency-Based Visual Attention for Rapid Scene Analysis

Präsentation zum Thema: "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"—  Präsentation transkript:

1 A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
Hauptseminar Aufmerksamkeit und Objekterkennung SS Rebecca Fay

2 Seminar Aufmerksamkeit & Objekterkennung
Modell - Übersicht Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

3 Seminar Aufmerksamkeit & Objekterkennung
Modell Vorgehensweise Getrenntes Betrachten der Eigenschaften Farbe, Intensität und Orientierung (Parallele Eigenschaftsextraktion) Erstellen von Eigenschaftskarten Erstellen von Gauss- bzw. Gaborpyramiden Bestimmung der Zentrums-Umgebungs-Differenzen Normalisierung Erstellen von Auffälligkeitskarten Kombinieren der Eigenschaftskarten Erstellen einer Salienzkarte Aufmerksamkeit entsprechend abnehmender Salienz verschieben Ziel Schnelles Bestimmen von herausragenden Punkten Beschleunigung der Szenen Analyse (Bildinterpretation) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

4 Seminar Aufmerksamkeit & Objekterkennung
Eigenschaften Farbe 4 Farben (rot, grün, blau, gelb) 3 ursprüngliche Farbkanäle (rot, grün, blau) Ableiten eines 4. Farbkanals (gelb) 2 Gegenfarbpaare (rot/grün, blau/gelb) Intensität (Helligkeit) Orientierung 4 Orientierungen (0°, 45°, 90°, 135°) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

5 Seminar Aufmerksamkeit & Objekterkennung
Lineare Filterung Vorgehensweise Verwenden von Gauss- bzw. Gaborfiltern Erstellen von neunstufigen Gauss- bzw. Gaborpyramiden Ergebnis 9 Pyramiden Ziel Glätten (Herausfiltern von Rauschen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

6 Zentrums-Umgebungs-Differenzen
Vorgehensweise Bestimmung der Differenzen zwischen einzelnen Ebenen der Pyramiden zueinander Interpolieren der Bilder mit der gröberen Auflösung auf die Größe des zu vergleichenden Bildes Punktweises Subtrahieren Ziel Kontrastbestimmung (Für Punkte mit starkem Kontrast zu ihrer Umgebung entstehen große Differenzen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

7 Seminar Aufmerksamkeit & Objekterkennung
Normalisierung Vorgehensweise Bestimmen des absoluten Maximums M der betrachteten Karte Normalisierung (Abbildung des Wertebereichs der Karte auf das Intervall [0..M]) Bestimmen der lokalen Maxima mi Bilden des Mittelwerts der lokalen Maxima mi (ohne Berücksichtigung des absolute Maximums M) Multiplizieren der Karte mit der quadrierten Differenz des absoluten Maximums und des Mittelwertes Ziel Vergleichbarkeit der unterschiedlichen Karten Stärkere Gewichtung von Karten mit aufmerksamkeitserzeugendem Kontrast Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

8 Seminar Aufmerksamkeit & Objekterkennung
Normalisierung Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

9 Seminar Aufmerksamkeit & Objekterkennung
Eigenschaftskarten Vorgehensweise Bestimmen der Zentrums-Umgebungs-Differenz Normalisierung Ergebnis 42 Eigenschaftskarten Ziel Verteilung von Zentrums-Umgebungs-Kontrasten bei unterschiedlichen Auflösungsstufen für die einzelnen Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

10 Auffälligkeitskarten
Vorgehensweise Reduzieren aller Eigenschaftskarten auf die Auflösung 1:16 Addieren der Eigenschaftskarten Normalisierung Ergebnis 3 Auffälligkeitskarten Farbe Intensität Orientierung Ziel Auffälligkeitsverteilung getrennt nach Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

11 Seminar Aufmerksamkeit & Objekterkennung
Salienzkarte Vorgehensweise Kombinieren der Auffälligkeitskarten Ziel Salienzverteilung (welchen Kontrast zu ihrer Umgebung weisen die einzelnen Bildbereiche auf?) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

12 Aufmerksamkeitsverschiebung
Vorgehensweise Neuronales „winner-take-all“ Netzwerk Richten der Aufmerksamkeit auf den Punkt, für den die größte Salienz berechnet wurde Dieser Punkt weist hinsichtlich Farbe, Intensität oder Orientierung den größten Kontrast zur Umgebung auf. Inhibition of Return Hemmen der Neuronen, die dieser Stelle zugeordnet sind Ziel Verhindern, daß die Aufmerksamkeit mehrmals auf den selben Punkt gerichtet wird Verschiebung der Aufmerksamkeit entsprechend abnehmender Salienz Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

13 Beispiel 1a - Eingabe + Ergebniskarten
Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

14 Beispiel 1b - Focus of Attention
Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

15 Beispiel 2 - Eingabe + Salienzkarten
a) Eingabe: Farbbilder b) Ergebnis: Salienz-Karten Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000

16 Seminar Aufmerksamkeit & Objekterkennung
Referenz IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, November Laurent Itti, Christof Koch, Ernst Niebur Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay SS 2000