Predictability and redundancy of natural images Daniel Kersten Referentin: Anna-Lena Richter

Zusammenhang zwischen Vorhersage und Redundanz

Einleitung –Eine auszeichnende menschliche Eigenschaft ist die Fähigkeit akkurate und reliable Vorhersagen über fehlende Daten in natürlichen Bildern zu erstellen Diese Fähigkeit ist abhängig von Redundanzen in natürlichen Bildern –Ein Merkmal ist redundant, wenn es ohne Informationsverlust weggelassen werden kann.

Einleitung Das visuelle System nutzt die in der Natur vorkommende Redundanz um Bildinformationen in einer weniger redundanten Form zu kodieren. –Die natürliche Redundanz ist die statistische Wahrscheinlichkeit eines bestimmten Sets von natürlichen Bildern Nutzen einer effizienten Kodierung in weniger redundanter Form weniger Neurone kleinerer dynamischer Range gleiche Menge an Informationen

Quantitative Definition der Redundanz nach Shannon: Redundanz= 1-Fn/m Fn: tatsächliche Entropie der erwartete Wert der Wahrscheinlichkeit des Graulevel i in Abhängigkeit von den n bekannten Nachbarpixel m: maximale Entropie hier: 4 bits/ Pixel Beispiel: 4 bit wurden durchschnittlich benötigt, um die Pixel zu kodieren 1-(4/4)= 0 Es ist keine Redundanz enthalten und daher keine Vorhersage möglich (optisches Rauschen)

Der Mensch als Prädiktor Redundanzschätzung verbessert sich, je idealer der Prädiktor ist Tzannes: 50*50 Pixel Foto der Mondoberfläche eingeteilt in 8 Felder 2 VPs wurden zuvor vertraut gemacht mit Mondbildern Entropie= Anzahl der Versuche/ Anzahl der Felder Redundanz: 39% und 56% Redundanz wird oft bei dieser Art der Messung unterschätzt

Kersten: Predictability and redundancy of natural images Die menschliche Fähigkeit veränderte Pixel zu korrigieren wird gemessen um natürliche Bildredundanz für bestimmte Bildeinteilungen zu schätzen Ausweitung vorheriger Experimente –Computer Graphik Interaktiver Austausch (Resultat vor Entscheidung sehen) Höhere räumliche Auflösung Mehr Graulevel können verwendet werden

Methode 8 natürlich vorkommende Bilder Blätter, Fluss im Wald, Stadt, Frauengesicht, Berg, vier alte Menschen, Männergesicht, fraktales Bild 128*128 Pixel 16 Graulevel= 4 bits Kompromiss zwischen genug Grautönen und zu viele (zu kompliziert) Graulevel- und Raumeinteilung der Bilder beschränken Generalisierung der Redundanz auf diese Einteilung

Methode 1%- 100% der Pixel werden verändert Versuchspersonen: DJK, DCK –DJK: x Pixel werden durch anderen Grauton ersetzt –DCK: x Pixel werden durch Schwarz ersetzten Ablauf: –Richtiges Graulevel am Computer aus Graupalette unter dem Bild auswählen –Max 16 Optionen, da 4 bit/Pixel –Die meisten Daten wurden mit 1% veränderten Pixel erhoben –Beide VPs haben normale Sehschärfe

Ergebnisse

100% veränderte Pixel= Zufall, 1-16 Versuche 1% veränderte Pixel= 78% richtig beim ersten Versuch –Nie mehr als 3 Versuche benötigt bei 1% Entropieschätzung nach Shannon aus diesen Daten –Obere Grenze: Oberes Limit der durchschnittlichen Anzahl bits pro Pixel, die erforderlich sind um eine Klasse von Bildern zu erschließen –Untere Grenze: nur valide, wenn Prädiktor ideal Je mehr Pixel Informationen verfügbar sind, desto besser ist die Vorhersage und desto niedriger sind die Entropiegrenzen

Ergebnisse

Fig. 3: Obere Entropiegrenze –Wenn alle Pixel verändert sind = 4 bits/Pixel –Wenn fast alle original Pixelwerte verfügbar sind= 0.9bits/Pixel –Wenn 1% verändert sind DJK: OG= 1.32 bits/ Pixel, UG= 0.78 bits/ Pixel DCK: OG= 1.47 bits/ Pixel, UG= 0.95 bits/ Pixel Rechte Seite des Graphen : Schätzung für obere und untere Grenze der Entropie für 128*128*4 bits natürliche Bilder ohne veränderte Pixel

Ergebnisse Redundanzgrenzen: –DCK: obere Grenze= 76%, untere Grenze= 63% –DJK: obere Grenze= 81%, untere Grenze= 67% Wenn DJK ein idealer Graulevelprädiktor ist, dann ist 81% die obere Grenze der Redundanz für diese Klasse natürlicher Bilder mit 4*128*128 bits Tatsächliche Redundanz für das Fraktalbild= 69% –In diesem Fall ist die untere Grenze der tatsächlichen Redundanz näher

Diskussion Obere Entropiegrenze von 1.4 bits/ Pixel = 65% Redundanz Die Generalisierbarkeit auf andere Bildeinteilungen ist zwar eingeschränkt, aber: –10 19,728 sinnvolle Bilder können in dem Format 128*128*4 abgebildet werden

Nutzen der Vorhersagbarkeitsmessung 1. Grenzen der menschlichen Leistung Grautonpixel vorherzusagen –Model wird gesucht, dass der menschlichen Leistung möglichst ähnlich ist 2. Messung der Vorhersagbarkeit für alternative Basiselemente –Minimalschema wird gesucht,dass Bilder möglichst vollständig beschreibt

Einfache Prädiktoren Zu 1.: Mittelwert, Median und Mode (Modalwert) nach dem nächsten Nachbar Prinzip Mittelwert: –Durchschnitt der 4 nächsten Grautonnachbarn –Durchschnittliche obere Grenze= 1.71bits/Pixel Mode: –Histogramm basierend auf den 8 nächsten Grautonnachbarn, –Durchschnittliche obere Grenze= 1.99bits/Pixel

Einfache Prädiktoren Median: –3. hellster Grauton der 4 nächsten Nachbarn Durchschnittliche obere Grenze= 1.42bits/Pixel – 1.42bits/Pixel nahe der menschlichen Leistung (1.47bits/Pixel) – Gutes Model zur Vorhersage, wenn Rauschfrei Wenig gelöschte Pixel Vorteil des Menschen : Informationen aus dem Gedächtnis

Kompaktbild Algorithmen Zu 2.: Aus einem 8bit/Pixel Bild wird ein 1bit/Pixel –Verkleinerung ist abhängig von hohen Korrelationen zwischen benachbarten Pixel Um Redundanz zu reduzieren wird Verzerrung toleriert, die für das menschliche Auge nicht sichtbar ist Resultate: durchschnittlich 39% Redundanz