Schattenerkennung in Farbbild Folgen Aufarbeitung einer Veröffentlichung der CVPR 2001 CVPR = Computer Vision and Pattern Recognition Seminararbeit von Ralf Mesel

Überblick Verschiedene Schattenarten Wozu Schattenerkennung Klassifizierung der Erkennungsmethoden Methoden zur Schattenerkennung Ergebnisse Leistungsvergleich Schlussfolgerung

Schattenarten Eigenschatten Schlagschatten Kernschatten Halbschatten Was ist ein Schatten Schatten sind die Folge der Verdeckung einer Lichtquelle durch ein Objekt in einer Szene. Unterscheidung nach Schattenarten Unterscheidung 1 Eigenschatten : Teil des Objektes welcher nicht beleuchtet ist Schlagschatten : Bereich in dem das Objjekt in die Szene projiziert wird Unterscheidung 2 Erdschatten : Bereich bei dem das Licht total blockiert ist Halbschatten : Bereich bei dem das Licht nur teilweise vom Objekt blockiert ist Schlagschatten Kernschatten Halbschatten

Wozu Schattenerkennung Erkennen von sich bewegenden Objekten Objekte mischen sich Objekte werden verzerrt Objekte gehen verloren Mischen : wenn ein Schatten teilweise auf ein anderes Objekt fällt Verzerrt : wenn der Schatten eines Objektes als Objekt teil erkannt wird Verloren : wenn ein Schatten ein ganzes Objekt verdeckt. Im Bild ist zu sehen, dass das Auto in den Schatten des LKW‘s fährt. Ohne eine Schattenerkennung würden beide Fahrzeuge als ein einziges undefinierbares Objekt erkannt werden.

Physikalische Grundlagen Reflektierende Energiedichte Beleuchtungsdichte Erdschatten Beleuchtung Halbschatten Physikalische Grundlagen für die Schattenerkennung K = K‘tes Frame S = Beleuchtungspunkt an der Stelle x,y P = Reflektion der Fläche E = Beleuchtungsdichte ( Betrag der Energie ) Ca = Intensität des Umgebungslichtes Cp = Intensität der Lichtquelle L = Richtung der Lichtquelle N(x,y) = Objekt Fläche normal K(x,y) = Erweichung des Halbschattens ( liegt zwischen 0 und 1 ) Diese Physikalische Beschreibung reicht jedoch für die automatische Schattenerkennung nicht aus, Für den Schatten Erkennungsalgorithmus müssen wir einige vereinfachte Annahmen hinzufügen.

Die Lichtquelle ist stark Annahmen : Die Lichtquelle ist stark Der Hintergrund ist statisch und strukturiert Der Hintergrund ist planar Die Ausbreitung der Lichtquelle ist ausreichend groß, sodass sich Halbschatten bilden kann. Diese Physikalische Beschreibung reicht jedoch für die automatische Schattenerkennung nicht aus, da die Parameter der genannten Gleichung weitgehend unbekannt sind. Für die automatische Schattenerkennung müssen wir einige vereinfachten Annahmen hinzufügen.

Hintergrundmodel Hintergrund ändert sich nicht, daher gilt : Unterschied der reflektierenden Energiedichte zwischen dem aktuellen Bildpunkt und dem Referenzpunkt im Rahmen k Erkennung eines Schlagschattens Die Stärke der Beleuchtungsdichte und der Helligkeit werden in betracht gezogen um den Unterschied zwischen dem aktuellen Rahmen und einem Referenzbild zu berechnen. Hierzu vergleicht man den Inhalt des Punktes im aktuellen Rahmen entweder mit dem zugehörigen Punkt des letzten Bildes oder mit einem sogenannten Referenzrahmen. Unter der Annahme eines statischen Hindergrundes gilt Formel 1 Der Unterschied wird in Formel 3 dargestellt wobei die Energie Dichte des Aktuellen Rahmens von der des Referenzrahmens abgezogen wird. Wenn nun der Punkt von einem Schatten überdeckt ist sollte also die Differenz groß sein. Unter der Annahme das die Lichtquelle eine hohe Intensität besitzt können wir die Formel 3 aufstellen. Cp muss dabei einen hohen Wert enthalten. Leider kann man mit dieser Formel den Halbschatten nicht erkennen sodass die Formel 4 in betracht gezogen werden muss. Dabei ist der Aufhellungsparameter k(x,y) klein, wenn der Halbschatten dunkel ist leider jedoch nahezu eins, wenn die Aufhellung stärker ist. Es währe hier 1-k(x,y) klein. Dies verhindert, das ein Halbschatten gut klassifiziert werden kann. Abgesehen vom Halbschatten besitzen Schattenpunkte jedoch einen großen Unterschied zwischen dem aktuellen Rahmen und dem Referenzrahmen. Eine weitere Möglichkeit den Schatten zu erkennen besteht darin, das Verhältnis Rk(x,y) zwischen der Erscheinung eines Pixels im aktuellen Rahmen und der Erscheinung im Referenzrahmen zu berechnen. Dabei nutze ich die Konstanz der Reflektion aus, indem ich die Varianz der Nachbarpixel von Rk(x,y) berechne. Eine niedere Varianz bedeutet, das Annahme 3 zutrifft ( Hindergrund ist planar ) Somit kann ich das Pixel als mögliche Schatten markieren.

Die Meisten vorgeschlagenen Annährungen ziehen das soeben beschriebene Schattenmodel in Betracht. Um jedoch die Unterschiede zu erklären kann man die Annährungen in zwei Schichten aufteilen. In der ersten Schicht unterscheidet man zwischen Statistischen und Deterministischen Methoden. Während die Deterministischen Annährungen eine Ja/Nein Entscheidung treffen, entscheidet sich bei den statistischen Methoden die Klassenzugehörigkeit durch eine Wahrscheinlichkeitsfunktion. Bei den statistischen Annährungen unterscheidet man weiter unter parametrisch und nicht parametrisch, wobei die Wahl der Parameter sicherlich der kritischste Streitpunkt ist. Die Deterministischen Annährungen können gestützt werden von Model basierten Kenntnissen oder nicht. Benutzt man eine Modelbasierte Methode erreicht man sicherlich das beste Ergebnis, jedoch ist diese komplexer und zeitintensiver als die nicht Modelbasierten Methoden. Weiterhin steigt die Komplexität des Models schnell an, wenn man mit unordentlicher Umgebung, verschiedenen Lichtbedingungen und Perspektiven arbeitet.

Statistische nicht parametrisiertes Verfahren ( SNP) Für jedes Pixel werden mit Hilfe der ersten N Rahmen Varianz (Vektor s) und Mittelwert ( Vektor E ) berechnet. Danach wird die Verzerrung der Helligkeit (Alpha) und die Farbart (CD), durch den Unterschied von gewünschter Farbe des Pixels und dem Inhalt des aktuellen Pixels berechnet und normalisiert. Letztlich wird jedes Pixel durch die automatische Grenzwertberechnung in eine von vier Klassen eingeteilt. ( Vordergrund, Hindergrund, Schatten oder belichtet ) Die automatische Grenzwertberechnung selbst wird durch eine statistische Lernprozedur erzeugt.

Helligkeitsvektor Farbänderung Berechnung des Helligkeitsvektors wobei I : aktueller Farbanteil im Bild Mü : mittelwert der vorigen Bilder O : Veränderung ( Varianz) der vorigen Bilder Berechnung der Farbänderung wobei wiederum der Mittelwert, Varianz und der Helligkeitsvektor in Betracht gezogen werden. Bei der Klassifizierung kommt (tau) von der automatischen Grenzwert Erkennung Der Grundgedanke dieser Methode ist, das Schattenpunkte den selben Farbwert jedoch geringere Helligkeit als der Hindergrund besitzen

Statistische nicht parametrisiertes Verfahren ( SNP)

Statistisches parametrisiertes Verfahren (SP) Dieser Algorithmus benutzt zwei Informationen: Lokal : basiert auf die Erscheinung des Pixels Spartial : (räumlich)basiert auf der Annahme, das die Objekte und Schatten kompakte Regionen sind Während der Hindergrund Modellierung wird wieder der Mittelwert und die Varianz für jedes Pixel der letzten N Rahmen berechnet. Nun vermuten wir, das der Inhalt des Vektors v kein Schattenpunkt ist und berechnen hierfür mit der angenährten linearen Transformation den Wert (v = Dv, wobei D die Diagonalmatrix ist), den das Pixel unter Schatten erhalten würde. Die Matrix selbst wird geschätzt unter der Annahme, das der Hindergrund des gesamten Bildes flach ist. Währe dies nicht der Fall, so müssten verschiedene Matrizen erstellt werden. Diese vier Werte ( Mittelwert und Varianz als belichtetes und als unbelichtetes Pixel ) gehen in die Wahrscheinlichkeitsrechnung ein. Kann ich nun das Pixel eindeutig identifizieren ist der Algorithmus beendet. Ist dies nicht der Fall werden die Wahrscheinlichkeiten der Nachbarpixel einbezogen und nun wieder die gesamte Wahrscheinlichkeit einer Klassifizierung geprüft. Dieser Vorgang wird so lange wiederholt, bis das Pixel ausreichend wahrscheinlich die richtige Klassenzugehörigkeit besitzt. Klassifikation

Hintergrund Unterdrückung Hintergrund Update Schattenerkennung Deterministische nicht modelbasierte Annährung 1 (DNM1) Bild Hintergrund Unterdrückung Vordergrund Bild Bew.Obj. Hintergrund Update Schattenerkennung (HSV) Hier ist die hauptsächliche Erneuerung eine Wissensbasierte Hindergrund Unterdrückung. Beim Hindergrund Update wird festgestellt, ob es sich beim aktuellen Pixel um einen Hindergrund oder ein Fordergrund Pixel handelt. Diese Information geht in die Hindergrund Unterdrückung ein wo alle Pixel mit dem Status Hindergrund extrahiert werden. Nur die Fordergrund Pixel gehen in die Schattenerkennung ein. Dort erhalten sie wiederum einen Status, entweder Sie werden als Fordergrund (Bewegendes Objekt) oder als Hindergrund oder als mögliches Bewegendes Objekt ( sogenannte Geisterschatten ) eingeordnet. Mögliches Bew. Obj. Deshalb, weil sich das Pixel innerhalb der letzten N Rahmen nicht immer bewegt hat. Das Dynamische nicht modellbasierte (DNM1) Verfahren benutzt als einziges der vier genannten Verfahren das HSV Farbschema (Farbton,Sättigung) da es dem menschlichen Visualisierungssystem am nächsten kommt. Hier nützt das Verfahren aus, das ein Schattenpunkt eine niederere Sättigung hat als ein belichteter Punkt. Hindergrund Mögliches Bew. Obj. Verstandene Szene

Geister Schatten In dieser Grafik ist ein Geisterschatten entstanden. Man kann es an der blauen Fläche unter der Schranktür sehen. Dies geschah jedoch nicht wegen der Verdeckung der Lichtquelle durch ein Objekt. Es geschah wegen der niedrigen Reflektion der Schranktür, welche in den letzten Bildern geschlossen war und nun geöffnet wurde. Die DNM1 Methode ist in der Lage diesen Geisterschatten zu erkennen und zu unterdrücken. Dies geschieht in der genannten Wiederbeschattung. Schlecht kann die Geisterschatten Erkennung in einem anderen Fall sein. Wenn zum Beispiel ein stehendes Auto anfährt so wird es die ersten N Bilder als Geisterschatten erkannt, bis es dann später wirklich als ein sich bewegendes Objekt erkannt wird.

Deterministisches nicht modelbasiertes Verfahren 2 (DNM2) Beste Erkennung von Halbschatten Zu diesem Algorithmus nicht viel, nur so viel das er der beste Algorithmus ist um Halbschatten zu erkennen. Es wird hier vorgeschlagen die breite der Kanten in den verschiedenen Bildern zu berechnen. Der Halbschatten hat eine größere Breite als die Kontur eines Objektes. Ist die Kontur also breiter als ein bestimmter Grenzwert, so handelt es sich um einen Halbschatten.

Hochschulgelände Intelligenter Raum Autobahn 1 Autobahn 2 Labor Sequenz Typ Natur Raum Schatten Stärke Mittel Hoch Nieder Sehr nieder Schatten Größe Groß Klein Sehr groß Objekt Klasse Auto Auto/Mensch Mensch Objekt Größe Objekt Geschw. 30-35 8-15 5-10 0-15 2-5 Rauschen Es werden fünf verschiedene Video Sequenzen per Benchmark geprüft. Der Ben Bei den Sequenzen, die hier gewählt wurden gibt es beides im Raum und in der Natur. Es gibt eine Schattenstärke, die von Hoch bis sehr nieder variiert, bzw. eine Schatten Größe die von Sehr groß (beim Hochschulgelände) bis klein ( auf der Autobahn ) variiert. Des weiteren unterscheidet man bei Objekten zwischen Klasse, Größe und Geschwindigkeit.

Ergebnisse SNP : Statistisch nicht parametrische Methode Die SNP Methode erreicht eine der besten Schatten Erkennungsgenauigkeiten ist aber in der Unterscheidungsgenauigkeit ziemlich schlecht. Dies könnte daher kommen, weil die Objekte ( gerade auf der Autobahn ) ziemlich dunkel sind, sich also nicht gut vom Schatten unterscheiden. Beim Hochschulgelände könnte starkes Rauschen die Ursache sein. Die SP Methode erreicht allgemein die beste Unterscheidungsgenauigkeit, die Erkennungsgenauigkeit ist jedoch ziemlich dürftig. Dies liegt daran, das der Hindergrund in den meisten Fällen nicht planar ist und daher eigentlich für jede Unterregion eine eigene Matrix D aufgestellt werden müsste. Die DNM1 Methode ist die stabilste sie erreicht eine gute Erkennungsgenauigkeit und auch eine gute Unterscheidungsgenauigkeit. Die DNM2 Methode Methode leidet hauptsächlich an der Annahme eines planaren und strukturierten Hindergrundes. SNP : Statistisch nicht parametrische Methode SP : Statistisch parametrische Methode DNM : Deterministisch nicht modellbasierte Methode

Autobahn 2 Original SP Ergebnis SNP Ergebnis

DNM1 Ergebnis SNP Ergebnis