Shape from Shading Computer Vision Jakob Thomsen Hauptseminar Thema 7 Vortrag von Jakob Thomsen

Shape from Shading (J. Thomsen) Inhalt I Einführung II Propagationsverfahren III Globale Verfahren IV Lokale Verfahren 26. Januar 2001 Shape from Shading (J. Thomsen)

I. Was ist Shape from Shading? - Shape from Shading bedeutet etwa „Form aus Schattierung“ - Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren - schlecht gestelltes Problem, nur eingeschränkt verwendbar - Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist: - einzelne Bilder - weit entfernte Objekte - allgemeine Vorraussetzung: durchsichtiges Medium, undurchsichtige Körper => nur Oberfläche sichtbar Mondbeispiel 26. Januar 2001 Shape from Shading (J. Thomsen)

I.1 allgemeine Vorgehensweise aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z.B. mit dem R.T. Frankot und R. Chellapa Algorithmus 26. Januar 2001 Shape from Shading (J. Thomsen)

I.2 Problem: Mehrdeutigkeit Die Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen! =>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar, genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden. Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen. Nur Zusammenhang zwischen p,q berechenbar 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

I.3 weitere Einschränkungen Beleuchtung - keine Intra-oder Interobjektreflexionen - i.a. paralleles Licht gleicher Stärke E0 - konstante und bekannte Beleuchtungsrichtung - möglichst Beleuchtungs- gleich Betrachterrichtung Reflexion - bekanntes lambertsches Reflexionsverhalten - Annahme einer bekannten und konstanten Albedo Geometrie - stetige, stetig differenzierbare Oberfläche - Orientierungen / Höhen in einigen Punkten bekannt allgemeine Einschränkungen: durchsichtiges Medium undurchsichtiger Körper ->nur Objektoberfläche ist wichtig konkret: Reflektanzfunktion(die üblichen Voraussetzungen) Sensor(bekanntes Verhalten, wie üblich. linear, kein Schwarzwert) Projektion(orthographische Parallelprojektion, teilw. Zentralp.) Bemerkung teilweise Abschwächung der E.möglich, einige P. extrahierbar Beispiel: Albedo*Bestrahlungsstärke in Praxis von Bedeutung: uniforme Albedo lambertsches Reflexionsverhalten 26. Januar 2001 Shape from Shading (J. Thomsen)

I.4 verschiedene Verfahren Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes Sonderfall direkte 3d-Interpretation von Bildirradianzen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) I.5 Sonderfall direkte Interpretation: unter folgenden Bedingungen - rotationssymmetrische Reflektanzfunktion - Betrachterrichtung senkrecht auf Projektionsebene - Objektfläche perfekt diffus mit uniformer Albedo sind die Bildirradianzen direkt als Höhenwerte interpretierbar Zusätzlich: keine Verdeckungen, Stufen, monotone Gradienten 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) I.6 Grundlagen gegeben: ein Bild, d.h. eine Funktion E(x,y) von Irradianzen gesucht: die Objektoberfläche, d.h. die Höhenwerte Z(x,y) weitere Funktionen: (p,q) sind die Gradienten (partielle Ableitungen von Z(x,y)) in x-bzw. y-Richtung (geben die Steigung in Z(x,y) an) R(p,q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt Vektoren: s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung n ist die Normale der Oberfläche in (x,y) Im folgenden nehme ich zu Vereinfachung an, dass die Blick- und Beleuchtungsrichtung identisch miteinander und der z-Achse sind 26. Januar 2001 Shape from Shading (J. Thomsen)

II. Propagationsverfahren Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus Der Wachstumsprozess erfolgt - iterativ - entlang bestimmter Pfade Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus 26. Januar 2001 Shape from Shading (J. Thomsen)

II.1 lineare Reflektanzfunktionen Definition: Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z.B.Kugelgroßkreise) Vorgehensweise: Richtungsableitung aus Irradianzen bestimmen Entlang charakteristischer Kurve integrieren 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Richtungsableitung (Berechnung) 26. Januar 2001 Shape from Shading (J. Thomsen)

lineare Reflektanzkarte 26. Januar 2001 Shape from Shading (J. Thomsen)

Integration d. Richtungsableitung 26. Januar 2001 Shape from Shading (J. Thomsen)

Mars Global Surveyor Orbiter PIA01046, Quelle: http://photojournal.jpl.nasa.gov/ 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Rekonstruktion 1 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Rekonstruktion 2 26. Januar 2001 Shape from Shading (J. Thomsen)

II.2 rotationssymmetrische R. Definition: Zusätzlich muss h(p,q) differenzierbar sein Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab. Vorgehensweise: Gradientenlänge durch Umkehrung der Irradianz bestimmen orthogonal zu Isohöhenkurven integrieren Gaußsche Kugel Bild einfügen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Steigung & Richtung des Gradienten 26. Januar 2001 Shape from Shading (J. Thomsen)

Steigung in Gradienten-Richtung 26. Januar 2001 Shape from Shading (J. Thomsen)

Richtung des Gradienten Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Diffgls Mit ergeben sich fünf Differentialgleichungen, die mit Hilfe bekannter Startwerte numerisch lösbar sind. Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien. 26. Januar 2001 Shape from Shading (J. Thomsen)

II.3 allgemeine Reflektanzf. Es ergeben sich fünf gewöhnliche Differentialgleichungen, die numerisch lösbar sind wenn Startwerte vorliegen. Ansatz der Cauchyschen Streifen von B.K.P. Horn (1986) 26. Januar 2001 Shape from Shading (J. Thomsen)

II.4 Robustere Verfahren bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven Problem: Fehler in Z-Werten pflanzen sich ungehindert fort Lösung: alle unmittelbaren Nachbarn einbeziehen 26. Januar 2001 Shape from Shading (J. Thomsen)

Verfahren von Bichsel & Pentland Initialisierung: bekannte Z-Werte in Höhenkarte eintragen Vorverarbeitungsschritt: für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8-Nachbarschaft) Iteration: Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren 26. Januar 2001 Shape from Shading (J. Thomsen)

Bestimmung der Steigungen Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet... ...diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung... ...aus der die beiden Extremwerte bestimmt werden... ...von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt. 26. Januar 2001 Shape from Shading (J. Thomsen)

mögliche Oberflächenorientierungen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Iteration für jeden Punkt: testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Beispiel 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) III. globale Verfahren Oberfläche wird als (unbekannte) Funktion Z(x,y) betrachtet, die gewisse Eigenschaften erfüllt Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt Rekonstruktion der Oberfläche durch Minimierung des Fehlers 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Fehlerfunktionen Die (wichtigsten) Bedingungen Irradianzbedingung Glattheitsbedingung Integrabilitätsbedingung beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion Allgemein: Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert) 26. Januar 2001 Shape from Shading (J. Thomsen)

Irradianzbedingung Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Glattheitsbedingung Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Ober-flächenorientierungen durch Annahme einer glatten Oberfläche Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind. 26. Januar 2001 Shape from Shading (J. Thomsen)

Glattheitsbedingung (Beispiel) 26. Januar 2001 Shape from Shading (J. Thomsen)

Integrabilitätsbedingung Ziel: Integration über verschiedene Wege soll gleiche Z-Werte ergeben Folgende Funktion sollte minimal sein 26. Januar 2001 Shape from Shading (J. Thomsen)

Integrabilitätsbedingung 26. Januar 2001 Shape from Shading (J. Thomsen)

Minimierung der Integrale Die Integrale können entweder mittels Variationsrechnung oder diskretisiert und danach mit anderen Optimierungsmethoden minimiert werden 26. Januar 2001 Shape from Shading (J. Thomsen)

Stereographische Projektion 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Variationsrechnung Ziel: Funktion minimieren notwendige Bedingung: Ableitung im Optimum ist Null 26. Januar 2001 Shape from Shading (J. Thomsen)

die Fehlerfunktion e e misst die Qualität der rekonstruierten Oberfläche 26. Januar 2001 Shape from Shading (J. Thomsen)

Ableitung der Fehlerfunktion e e hängt von f ,g und deren partiellen Ableitungen ab => bei der Ableitung ergeben sich die Eulergleichungen 26. Januar 2001 Shape from Shading (J. Thomsen)

Anwendung der Eulergleichungen 26. Januar 2001 Shape from Shading (J. Thomsen)

Algorithmus von Ikeuchi & Horn Vorgehensweise: Bedingungen diskretisieren für jeden Punkt Fehler (lokal) berechnen Werte korrigieren wiederholen bis akzeptable Lösung erreicht 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Diskretisierung Diskretisierung der Glattheitsbedingung: Diskretisierung der Irradianzbedingung: Fehlerfunktion: Summe der mit l gewichteten Bedingungen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) (Fortsetzung) partielle Ableitungen der Fehlerfunktion... ...geben Abweichung zum optimalen f bzw. g Wert an Durchschnitt der Umgebung um (i,j) 26. Januar 2001 Shape from Shading (J. Thomsen)

Iterationsvorschrift 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) IV. lokale Verfahren - berechnen Gestalt an einem Punkt anhand kleiner Umgebung - können i.a. nur Oberflächenorientierungen rekonstruieren, Höhenberechnung erst nach Integration möglich - sind leicht implementierbar und effizient, da nicht iterativ 26. Januar 2001 Shape from Shading (J. Thomsen)

Beispiel: Kugelapproximation Annahme: Objekt ist in etwa kugelförmig Ziel: Mehrdeutigkeit der Orientierungen auflösen 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Azimutbestimmung Problem: Azimut ist wegen Mehrdeutigkeit nicht aus Irradianz bestimmbar Lösung: Objekt als kugelförmig annehmen und Azimut wie bei einer Kugel berechnen 26. Januar 2001 Shape from Shading (J. Thomsen)

Deklinationsbestimmung Bestimmung der Deklination aus der Irradianz (erfordert eine Rotationssymmetrische Reflektanzfunktion) 26. Januar 2001 Shape from Shading (J. Thomsen)

Rekonstruktion - Beispiel 26. Januar 2001 Shape from Shading (J. Thomsen)

Shape from Shading (J. Thomsen) Zusammenfassung I SFS-Beschreibung II Propagationsverfahren III Globale Verfahren IV Lokale Verfahren 26. Januar 2001 Shape from Shading (J. Thomsen)

Vielen Dank für die Aufmerksamkeit! 26. Januar 2001 Shape from Shading (J. Thomsen)