Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.

Ähnliche Präsentationen


Präsentation zum Thema: "Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen."—  Präsentation transkript:

1 Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen

2 26. Januar 2001Shape from Shading (J. Thomsen)2 Inhalt IEinführung IIPropagationsverfahren IIIGlobale Verfahren IVLokale Verfahren

3 26. Januar 2001Shape from Shading (J. Thomsen)3 I.Was ist Shape from Shading? - Shape from Shading bedeutet etwa Form aus Schattierung - Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren - schlecht gestelltes Problem, nur eingeschränkt verwendbar - Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist: - einzelne Bilder - weit entfernte Objekte - allgemeine Vorraussetzung: durchsichtiges Medium, undurchsichtige Körper => nur Oberfläche sichtbar

4 26. Januar 2001Shape from Shading (J. Thomsen)4 I.1allgemeine Vorgehensweise 1.aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen 2.die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z.B. mit dem R.T. Frankot und R. Chellapa Algorithmus

5 26. Januar 2001Shape from Shading (J. Thomsen)5 I.2Problem: Mehrdeutigkeit Die Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen! =>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar, genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden. Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen.

6 26. Januar 2001Shape from Shading (J. Thomsen)6

7 26. Januar 2001Shape from Shading (J. Thomsen)7 I.3weitere Einschränkungen Beleuchtung - keine Intra-oder Interobjektreflexionen - i.a. paralleles Licht gleicher Stärke E0 - konstante und bekannte Beleuchtungsrichtung - möglichst Beleuchtungs- gleich Betrachterrichtung Reflexion - bekanntes lambertsches Reflexionsverhalten - Annahme einer bekannten und konstanten Albedo Geometrie - stetige, stetig differenzierbare Oberfläche - Orientierungen / Höhen in einigen Punkten bekannt

8 26. Januar 2001Shape from Shading (J. Thomsen)8 I.4verschiedene Verfahren Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes Sonderfall direkte 3d-Interpretation von Bildirradianzen

9 26. Januar 2001Shape from Shading (J. Thomsen)9 I.5Sonderfall direkte Interpretation: unter folgenden Bedingungen - rotationssymmetrische Reflektanzfunktion - Betrachterrichtung senkrecht auf Projektionsebene - Objektfläche perfekt diffus mit uniformer Albedo sind die Bildirradianzen direkt als Höhenwerte interpretierbar

10 26. Januar 2001Shape from Shading (J. Thomsen)10

11 26. Januar 2001Shape from Shading (J. Thomsen)11

12 26. Januar 2001Shape from Shading (J. Thomsen)12 I.6Grundlagen gegeben: ein Bild, d.h. eine Funktion E(x,y) von Irradianzen gesucht: die Objektoberfläche, d.h. die Höhenwerte Z(x,y) weitere Funktionen: (p,q) sind die Gradienten (partielle Ableitungen von Z(x,y)) in x-bzw. y-Richtung (geben die Steigung in Z(x,y) an) R(p,q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt Vektoren: s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung n ist die Normale der Oberfläche in (x,y)

13 26. Januar 2001Shape from Shading (J. Thomsen)13 II.Propagationsverfahren Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus Der Wachstumsprozess erfolgt - iterativ - entlang bestimmter Pfade Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus

14 26. Januar 2001Shape from Shading (J. Thomsen)14 II.1lineare Reflektanzfunktionen Definition: Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z.B.Kugelgroßkreise) Vorgehensweise: Richtungsableitung aus Irradianzen bestimmen Entlang charakteristischer Kurve integrieren

15 26. Januar 2001Shape from Shading (J. Thomsen)15

16 26. Januar 2001Shape from Shading (J. Thomsen)16 Richtungsableitung (Berechnung)

17 26. Januar 2001Shape from Shading (J. Thomsen)17 lineare Reflektanzkarte

18 26. Januar 2001Shape from Shading (J. Thomsen)18 Integration d. Richtungsableitung

19 26. Januar 2001Shape from Shading (J. Thomsen)19 Mars Global Surveyor Orbiter PIA01046, Quelle:

20 26. Januar 2001Shape from Shading (J. Thomsen)20

21 26. Januar 2001Shape from Shading (J. Thomsen)21

22 26. Januar 2001Shape from Shading (J. Thomsen)22 Rekonstruktion 1

23 26. Januar 2001Shape from Shading (J. Thomsen)23 Rekonstruktion 2

24 26. Januar 2001Shape from Shading (J. Thomsen)24 II.2rotationssymmetrische R. Definition: Zusätzlich muss h(p,q) differenzierbar sein Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab. Vorgehensweise: Gradientenlänge durch Umkehrung der Irradianz bestimmen orthogonal zu Isohöhenkurven integrieren

25 26. Januar 2001Shape from Shading (J. Thomsen)25

26 26. Januar 2001Shape from Shading (J. Thomsen)26 Steigung & Richtung des Gradienten

27 26. Januar 2001Shape from Shading (J. Thomsen)27 Steigung in Gradienten-Richtung

28 26. Januar 2001Shape from Shading (J. Thomsen)28 Richtung des Gradienten Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion

29 26. Januar 2001Shape from Shading (J. Thomsen)29 Diffgls Mit ergeben sich fünf Differentialgleichungen, die mit Hilfe bekannter Startwerte numerisch lösbar sind. Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien.

30 26. Januar 2001Shape from Shading (J. Thomsen)30 II.3allgemeine Reflektanzf. Es ergeben sich fünf gewöhnliche Differentialgleichungen, die numerisch lösbar sind wenn Startwerte vorliegen. Ansatz der Cauchyschen Streifen von B.K.P. Horn (1986)

31 26. Januar 2001Shape from Shading (J. Thomsen)31 II.4Robustere Verfahren bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven Problem: Fehler in Z-Werten pflanzen sich ungehindert fort Lösung: alle unmittelbaren Nachbarn einbeziehen

32 26. Januar 2001Shape from Shading (J. Thomsen)32 Verfahren von Bichsel & Pentland Initialisierung: bekannte Z-Werte in Höhenkarte eintragen Vorverarbeitungsschritt: für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8-Nachbarschaft) Iteration: Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren

33 26. Januar 2001Shape from Shading (J. Thomsen)33 Bestimmung der Steigungen 1.Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung aus der die beiden Extremwerte bestimmt werden von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt.

34 26. Januar 2001Shape from Shading (J. Thomsen)34 mögliche Oberflächenorientierungen

35 26. Januar 2001Shape from Shading (J. Thomsen)35 Iteration für jeden Punkt: 1.testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht 2.die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz)

36 26. Januar 2001Shape from Shading (J. Thomsen)36 Beispiel

37 26. Januar 2001Shape from Shading (J. Thomsen)37 III.globale Verfahren Oberfläche wird als (unbekannte) Funktion Z(x,y) betrachtet, die gewisse Eigenschaften erfüllt Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt Rekonstruktion der Oberfläche durch Minimierung des Fehlers

38 26. Januar 2001Shape from Shading (J. Thomsen)38 Fehlerfunktionen Die (wichtigsten) Bedingungen Irradianzbedingung Glattheitsbedingung Integrabilitätsbedingung beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion Allgemein: Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert)

39 26. Januar 2001Shape from Shading (J. Thomsen)39 Irradianzbedingung Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen

40 26. Januar 2001Shape from Shading (J. Thomsen)40 Glattheitsbedingung Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind. Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Ober- flächenorientierungen durch Annahme einer glatten Oberfläche

41 26. Januar 2001Shape from Shading (J. Thomsen)41 Glattheitsbedingung (Beispiel)

42 26. Januar 2001Shape from Shading (J. Thomsen)42 Integrabilitätsbedingung Ziel: Integration über verschiedene Wege soll gleiche Z- Werte ergeben Folgende Funktion sollte minimal sein

43 26. Januar 2001Shape from Shading (J. Thomsen)43 Integrabilitätsbedingung

44 26. Januar 2001Shape from Shading (J. Thomsen)44 Minimierung der Integrale Die Integrale können entweder mittels Variationsrechnung oder diskretisiert und danach mit anderen Optimierungsmethoden minimiert werden

45 26. Januar 2001Shape from Shading (J. Thomsen)45 Stereographische Projektion

46 26. Januar 2001Shape from Shading (J. Thomsen)46 Variationsrechnung Ziel: Funktion minimieren notwendige Bedingung: Ableitung im Optimum ist Null

47 26. Januar 2001Shape from Shading (J. Thomsen)47 die Fehlerfunktion e e misst die Qualität der rekonstruierten Oberfläche

48 26. Januar 2001Shape from Shading (J. Thomsen)48 Ableitung der Fehlerfunktion e e hängt von f,g und deren partiellen Ableitungen ab => bei der Ableitung ergeben sich die Eulergleichungen

49 26. Januar 2001Shape from Shading (J. Thomsen)49 Anwendung der Eulergleichungen

50 26. Januar 2001Shape from Shading (J. Thomsen)50 Algorithmus von Ikeuchi & Horn Vorgehensweise: 1.Bedingungen diskretisieren 2.für jeden Punkt 1.Fehler (lokal) berechnen 2.Werte korrigieren 3.wiederholen bis akzeptable Lösung erreicht

51 26. Januar 2001Shape from Shading (J. Thomsen)51 Diskretisierung Diskretisierung der Glattheitsbedingung: Diskretisierung der Irradianzbedingung: Fehlerfunktion: Summe der mit gewichteten Bedingungen

52 26. Januar 2001Shape from Shading (J. Thomsen)52 (Fortsetzung) partielle Ableitungen der Fehlerfunktion......geben Abweichung zum optimalen f bzw. g Wert an Durchschnitt der Umgebung um (i,j)

53 26. Januar 2001Shape from Shading (J. Thomsen)53 Iterationsvorschrift

54 26. Januar 2001Shape from Shading (J. Thomsen)54 IV.lokale Verfahren - berechnen Gestalt an einem Punkt anhand kleiner Umgebung - können i.a. nur Oberflächenorientierungen rekonstruieren, Höhenberechnung erst nach Integration möglich - sind leicht implementierbar und effizient, da nicht iterativ

55 26. Januar 2001Shape from Shading (J. Thomsen)55 Beispiel: Kugelapproximation Annahme: Objekt ist in etwa kugelförmig Ziel: Mehrdeutigkeit der Orientierungen auflösen

56 26. Januar 2001Shape from Shading (J. Thomsen)56

57 26. Januar 2001Shape from Shading (J. Thomsen)57 Azimutbestimmung Problem: Azimut ist wegen Mehrdeutigkeit nicht aus Irradianz bestimmbar Lösung: Objekt als kugelförmig annehmen und Azimut wie bei einer Kugel berechnen

58 26. Januar 2001Shape from Shading (J. Thomsen)58 Deklinationsbestimmung Bestimmung der Deklination aus der Irradianz (erfordert eine Rotationssymmetrische Reflektanzfunktion)

59 26. Januar 2001Shape from Shading (J. Thomsen)59 Rekonstruktion - Beispiel

60 26. Januar 2001Shape from Shading (J. Thomsen)60 Zusammenfassung ISFS-Beschreibung IIPropagationsverfahren IIIGlobale Verfahren IVLokale Verfahren

61 26. Januar 2001Shape from Shading (J. Thomsen)61 Vielen Dank für die Aufmerksamkeit!


Herunterladen ppt "Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen."

Ähnliche Präsentationen


Google-Anzeigen