Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Photometrische Stereoanalyse Kai Christian Bader Hauptseminar Computer Vision Kapitel VIII.

Ähnliche Präsentationen


Präsentation zum Thema: "Photometrische Stereoanalyse Kai Christian Bader Hauptseminar Computer Vision Kapitel VIII."—  Präsentation transkript:

1 Photometrische Stereoanalyse Kai Christian Bader Hauptseminar Computer Vision Kapitel VIII

2 Photometrische Stereoanalyse (Kai Bader)2 Nur ein kurzer Überblick Grenzen der SFS-Verfahren 2. Analyse von Irradianzpaaren 3. Analyse von Irradianztripeln

3 Photometrische Stereoanalyse (Kai Bader)3 Das Beispiel aus dem letzten Vortrag SFS-Verfahren sind nur unter idealen Bedingungen zu solchen Resultaten fähig.

4 Photometrische Stereoanalyse (Kai Bader)4 Was aber ist mit solchen Fällen?

5 Photometrische Stereoanalyse (Kai Bader)5 1. Grenzen von SFS-Verfahren Die Problemstellung aus einem Einzelbild eine Oberfläche zu rekonstruieren ist stark unterbestimmt. Starke Einschränkungen in der Objektvielfalt notwendig... Kapitel 1

6 Photometrische Stereoanalyse (Kai Bader)6 1. Grenzen von SFS-Verfahren 1.1 Der Term E 0 ist bekannt und konstant E 0 bekannt Lösungsmenge ist bei einer Lambertschen Reflektanzkarte gleich einem Kegelschnitt im Gradientenraum ( E 0 bestimmbar, falls eine Orientierung n = s vorhanden und sichtbar ist) Zur Erinnerung: E 0 Bestrahlungsstärke der Beleuchtung Albedo / Reflektionskonstante

7 Photometrische Stereoanalyse (Kai Bader)7 1. Grenzen von SFS-Verfahren 1.2 Die Oberflächen sind mindestens C (1) -stetig Facettenübergänge / Objektkanten sind nicht immer wahrnehmbar Stetigkeitsanforderung Da die Stetigkeitsanforderung für jeden Punkt gilt: Keine Möglichkeiten der Untersuchung polyedrischer Objekte (es existieren allerdings hierfür spezielle SFS-Verfahren welche mit einem Kantenoperator arbeiten)

8 Photometrische Stereoanalyse (Kai Bader)8 1. Grenzen von SFS-Verfahren 1.3 Es müssen singuläre Punkte bzw. Orientierungen bekannt sein (d.h. einige Höhenwerte, bevorzugt Orte mit einer Konvexität bzw. Konkavität oder Sattelpunkte sollten bekannt sein) Problem der Mehrdeutigkeit: konkav-konvex-Konflikt

9 Photometrische Stereoanalyse (Kai Bader)9 1. Grenzen von SFS-Verfahren Aber nun zur Photometrischen Stereoanalyse Als Erweiterung der vorher behandelten SFS- Verfahren, genauer zur...

10 Photometrische Stereoanalyse (Kai Bader)10 2. Die Analyse von Irradianzpaaren Kapitel 2 Der erste Erweiterungsschritt zur schattierungsbasierten Mehrbildanalyse

11 Photometrische Stereoanalyse (Kai Bader)11 2. Die Analyse von Irradianzpaaren Eine weitere Beleuchtungsquelle wird hinzugefügt Die Richtungen s 1 und s 2 der Beleuchtungsquellen dürfen nicht kollinear sein Zwei Aufnahmen durch einen Sensor bei identischer Positionierung und Orientierung, aber mit jeweils nur einer Beleuchtungsquelle Für jeden Bildpunkt ergeben sich so zwei Irradianzen: Irradianzpaar 2S-Verfahren (2-Beleuchtungsquellenverfahren)

12 Photometrische Stereoanalyse (Kai Bader)12 2. Die Analyse von Irradianzpaaren Allgemeine Vorraussetzung: Bei einer Irradianz = 0 wird = 0 angenommen, d.h. der Punkt ist nicht beleuchtet Beispiel für zwei Aufnahmen mit verschiedenen Lichtquellen:

13 Photometrische Stereoanalyse (Kai Bader)13 2. Die Analyse von Irradianzpaaren Nur falls s = v gilt können alle Orientierungen der sichtbaren Punkte beleuchtet werden Bei SFS-Verfahren sind unter Annahme allg. Beleuchtungsrichtungen immer ein Teil der Orientierungen im Schatten

14 Photometrische Stereoanalyse (Kai Bader)14 2. Die Analyse von Irradianzpaaren Je kleiner der Winkel zwischen s 1 und s 2, desto mehr Orientierungen sind sichtbar Je größer der Winkel, desto robuster ist das Verfahren gegenüber Meßungenauigkeiten bei den Irradianzen Eine optimale Wahl der Beleuchtungsrichtungen existiert nicht Alle bestrahlten Orientierungen sollten von v aus sichtbar sein (d.h. es sollte gelten: v = a s 1 + b s 2 )

15 Photometrische Stereoanalyse (Kai Bader) Lineare Reflektanzkarten Für die Oberflächenrefflektion und die Beleuchtung wird ein lineares Reflektanzverhalten angenommen Jede gemessene Irradianz E 1 reduziert die Lösungsmenge der Orientierungen auf eine von p abhängige Gerade h im Gradientenraum Existiert eine zweite Aufnahme mit veränderter Beleuchtungsrichtung und Irradianz E 2, so ergibt sich eine zweite Gerade k.

16 Photometrische Stereoanalyse (Kai Bader) Lineare Reflektanzkarten Beide Irradianzen beschreiben den gleichen Szenepunkt Der Schnittpunkt (p m,q m ) der Geraden h und k repräsentiert die einzige konsistente Orientierung

17 Photometrische Stereoanalyse (Kai Bader) Lineare Reflektanzkarten Aus den beiden Gleichungen kann ein LGS gebildet werden: Mit zwei Reflektanzkarten deren Steigungen nicht identisch sind lässt sich für jedes Irradianzpaar eine eindeutige Orientierung konstruieren.

18 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Der Lösungsansatz für Lineare Reflektanzkarten lässt sich nicht direkt auf Lambertsche Oberflächen übertragen (eine Bildirradianz beschränkt hier den Gradienten (p, q) auf Kegelschnitte, also Kurven 2.Ordnung) Für ein Irradianzpaar existieren max. zwei Orientierungen, da die Isoirradianzkurven höchstens zwei Schnittpunkte haben

19 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Durch messen: Beleuchtungsrichtungen s 1, s 2 und Irradianzen E 1, E 2 Die Gradientenraumpräsentation sei durch p s1 =p(s 1 ), p s2 =p(s 2 ) gegeben Aus der Lambertschen Reflektionseigenschaft ergeben sich zwei Bildirradianzgleichungen als nichtlin. Gleichungssystem in p, q : (für E 2 / s 2 äquivalent)

20 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Das Zweibein der Beleuchtungsrichtungen s 1, s 2 wird mit einer 3x3 Rotationsmatrix R rotiert bis beide Y-Komponenten der transform. Beleuchtungsrichtungen Null ergeben: s 1 und s 2 sind komplanar zur XZ-Ebene: Genauso kann mit den Oberflächenorientierungen verfahren werden:

21 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Durch die Rotation vereinfacht sich das Gleichungssystem zu: (äquivalent für E 2 / s 2 ) Die Bildirradianzen ändern sich nicht durch die Rotation

22 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Durch Eliminierung von kann das Gleichungssystem auf reduziert werden. p als einzige Unbekannte kann (da sie in linearer Form auftritt) eindeutig aus (E 1,E 2 ) bestimmt werden. q kann aus p ermittelt werden

23 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Die Gleichung Ist quadratisch in q es existieren zwei Lösungen für q 1,2

24 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Existiert ein Paar von Lösungsorientierungen, so sind diese Spiegelsymmetrisch zur Ebene aufgespannt von s 1 und s 2 Existiert nur eine Lösungsorientierung, so sind n, s 1 und s 2 komplanar Es kann eine eindeutige Oberflächenorientierung rekonstruiert werden, falls zur Modellierung Lambertsche Reflektanzkarten eingesetzt werden (dann sogar Punktlokal verwendbar)

25 Photometrische Stereoanalyse (Kai Bader) Eindeutigkeit durch Integrabilität Direkte SFS-Erweiterung Konvexitätsannahme Integrabilitätsbedingung 3 Beispiele für Verfahren, mit deren Hilfe trotz Mehrdeutigkeiten eine eindeutige Lösung rekonstruiert werden kann

26 Photometrische Stereoanalyse (Kai Bader) Eindeutigkeit durch Integrabilität Direkte SFS-Erweiterung Rekonstruktion einer eindeutigen Oberfläche mit der Erweiterung schattierungsbasierter Einzelbildverfahren (besonders geeignet: globale Minimierungsansätze)

27 Photometrische Stereoanalyse (Kai Bader) Eindeutigkeit durch Integrabilität Konvexitätsannahme Die Objektumgebung wird auf konkave oder konvexe Oberflächen beschränkt die Lösung ist dann eindeutig bestimmbar

28 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Die Verwendung Lambertscher Reflektanzkarten impliziert im allgemeinen, dass die Terme E 0 und E 1 bekannt und konstant sind. Wie groß ist aber die Mächtigkeit der Lösungsmenge, wenn die Albedo unbekannt bleibt?

29 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Bildirradianzen unter paralleler Beleuchtung: Nennerfrei gemacht und von einander subtrahiert: (diese kann als ein Skalarprodukt aufgefasst werden)

30 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Ist 0, so kann die Albedo aus der Gleichung eliminiert werden. Mit der Hilfsgröße kann die Gleichung als vereinfachtes Skalarprodukt dargestellt werden: oder noch kompakter als:

31 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Die Vektordifferenz s 1,2 - s 2,1 ist eine konstante Größe und s 1, s 2 aufgespannt Die veränderlichen Größen sind die Bildirradianzen E 1 und E 2 Vektor s 1 s 2 ist orthogonal zur Vektordifferenz s 1,2 - s 2,1 Lösungen sind alle Vektoren n, für die das Skalarprodukt Null ergibt (n orthogonal zu s 1,2 - s 2,1 )

32 Photometrische Stereoanalyse (Kai Bader) Kugelapproximation Prinzipiell: Albedounabhängige Rekonstruktion mit dem Irradianzpaar, vergleichbar mit dem Problem der albedounabhängigen Rekonstruktion von SFS-Verfahren (in beiden Fällen beschränkt die Irradianziformation die Orientierungen auf Kreise auf der Gaußschen Kugel) Bei SFS-Verfahren: Kreisumfang ist immer < 2 (je größer die Irradianz, desto kleiner der Kreisumfang)

33 Photometrische Stereoanalyse (Kai Bader) Kugelapproximation Die Irradianz E und der Kreisumfang U stehen durch die Gleichung in Relation. Bei albedounabhängigen 2S-Verfahren: Kreisumfang konstant 2 (damit i.a. größer als bei SFS)

34 Photometrische Stereoanalyse (Kai Bader)34 3. Analyse von Irradianztripeln Ähnlich den vorherigen 2S-Verfahren werden nun Verfahren betrachtet, bei denen drei Beleuchtungsquellen eingesetzt werden. Diese 3S-Verfahren ordnen jedem Bildpunkt 3 Irradianzen, also das Irradianztripel, zu.

35 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Mit einem Irradianzpaar einer Lambertschen Oberfläche kann die Lösungsvielfalt der Orientierungen auf maximal zwei beschränkt werden. Wird eine dritte Beleuchtungsquelle hinzugenommen, so entsteht ein weiterer Kreis auf der Gaußschen Kugel. Bei drei konsistenten Irradianzen müssen diese drei Kreise mindestens einen gemeinsamen Schnittpunkt besitzen. Mit der dritten Irradianz kann die korrekte der beiden Lösungsorientierungen ermittelt werden!

36 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Im Gradientenraum wurde vorher das Paar der Lösungsgradienten durch Schnitt zweier Kegelschnitte bestimmt. Kommt eine weitere Beleuchtungsquelle hinzu, so schneiden sich die drei Kegelschnitte in einem Punkt. Dieser Schnittpunkt (p,q) im Gradientenraum repräsentiert die gesuchte Orientierung.

37 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Auch ohne Berechnung der Lösungskandidaten kann eine Lösung bestimmt werden, indem die Schnittkurven nichtanalytisch erzeugt werden. Dazu werden die Reflektanzkarten als Bildmatrizen repräsentiert. Bei Verwendung eines Kalibrierobjektes müssen weder Beleuchtungsrichtung noch das Produkt E 0 bekannt sein. Die Berechnung der Orientierungen erfolgt durch Schwellenwertsegmentierung der Reflektanzkarten. Durch die robuste Verfahrensweise können auch Oberflächen ohne Lambertsche Reflektionseigenschaften rekonstruiert werden.

38 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Look-Up-Tabellen Ein im Bild gemessenes Irradianztripel lässt sich als Punkt im kartesischen Koordinatensystem E 1 E 2 E 3 auffassen, wenn jede der drei aufspannenden Achsen die Bildirradianzen einer Beleuchtungsquelle repräsentieren. Jedem möglichen Irradianztripel ist eindeutig eine Oberflächenorientierung zugeordnet, so dass die die Generierung einer dreidimensionalen Look-Up-Tabelle möglich ist:

39 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse Zwei Möglichkeiten der Erstellung: Sind Richtung und Bestrahlungsstärke der Beleuchtungsquellen bekannt kann die Look-Up-Tabelle aus Reflexionsmodellen bestimmt werden. Mit einem Kalibrierungsobjekt bekannter Geometrie und Reflexion (das alle Orientierungen in diskreter Form aufweist) kann die Bestimmung der Bestrahlungsstärken und der Reflektionsparameter entfallen. Soll eine Oberflächenorientierung bestimmt werden, so muss lediglich der Tabelleneintrag nachgeschlagen werden. Dem Zeitvorteil beim Analysieren steht ein hoher Speicherbedarf entgegen.

40 Photometrische Stereoanalyse (Kai Bader) Albedoabhängige Analyse

41 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Ein Irradianzpaar beschränkt die Gradienten in einem Lambertschen Oberflächenpunkt unbekannter Albedo auf eine Gerade im Gradientenraum. Mit einer dritten Beleuchtungsquelle hat man drei Irradianzpaare, also auch drei Gradengleichungen. Unter der Vorraussetzung konsistenter Irradianzen besitzen diese immer einen gemeinsamen Schnittpunkt.

42 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Unter 2.4 wurde eine Gleichung genannt, mit der zur Oberflächenorientierung orthogonaler Vektor berechnet werden kann - hier (E 1,E 2 ) : (äquivalent für (E 1,E 3 ) und (E 2,E 3 ) ) Durch Bildung des Vektorproduktes entsteht ein zur gesuchten Orientierung n kollinearer Vektor: Es gilt also:

43 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Wird die Gleichung durch eine der Bestrahlungsstärken geteilt (hier E 3 ), so ändert sich die Richtung des Vektors nicht bezüglich u. Dies bedeutet, dass für den Analyseprozess die Bestrahlungsstärken der Leuchtquellen nur relativ zueinander bekannt sein müssen. Die Albedo kann folglich auch nur relativ bestimmt werden.

44 Photometrische Stereoanalyse (Kai Bader) Albedounabhängige Analyse Beispiel für ein Bildtripel mit nichtuniformer Albedo:

45 Photometrische Stereoanalyse (Kai Bader) Bestimmung der Beleuchtungsrichtung Durch Abwandlung des Ansatzes zur Photometrischen Stereoanalyse können diese zur Bestimmung einer Beleuchtungsrichtung eingesetzt werden. (Dieser Ansatz wird auch inverse Photometrische Stereoanalyse genannt)

46 Photometrische Stereoanalyse (Kai Bader) Bestimmung der Beleuchtungsrichtung Bei der PS setzt voraus, dass für jeden Bildpunkt drei Beleuchtungsrichtungen s 0, s 1, s 2 gemessen werden können. Aus den drei Irradianzen wird Punktneutral eine Oberflächenneutrale n bestimmt. Das Kalibrierungsobjekt wird mit einer Beleuchtungsquelle unbekannter Richtung s bestrahlt. Zur Berechnung der Beleuchtungsrichtung können die drei gemessenen Irradianzen mit der Oberflächenneutralen vertauscht und zu einer Matrix zusammengefasst werden: Die Bildirradianzgleichung kann nun aufgelöst werden:

47 Photometrische Stereoanalyse (Kai Bader)47 Nochmals Als Erinnerung Grenzen der SFS-Verfahren 2. Analyse von Irradianzpaaren 3. Analyse von Irradianztripeln Fragen? ? ? ? ? ?


Herunterladen ppt "Photometrische Stereoanalyse Kai Christian Bader Hauptseminar Computer Vision Kapitel VIII."

Ähnliche Präsentationen


Google-Anzeigen