Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Photometrische Stereoanalyse

Ähnliche Präsentationen


Präsentation zum Thema: "Photometrische Stereoanalyse"—  Präsentation transkript:

1 Photometrische Stereoanalyse
Hauptseminar Computer Vision Kapitel VIII Photometrische Stereoanalyse Kai Christian Bader

2 Nur ein kurzer Überblick...
Grenzen der SFS-Verfahren Analyse von Irradianzpaaren Analyse von Irradianztripeln Photometrische Stereoanalyse (Kai Bader)

3 Das Beispiel aus dem letzten Vortrag
SFS-Verfahren sind nur unter idealen Bedingungen zu solchen Resultaten fähig. Photometrische Stereoanalyse (Kai Bader)

4 Was aber ist mit solchen Fällen?
Photometrische Stereoanalyse (Kai Bader)

5 1. Grenzen von SFS-Verfahren
Kapitel 1 Die Problemstellung aus einem Einzelbild eine Oberfläche zu rekonstruieren ist stark unterbestimmt. Starke Einschränkungen in der Objektvielfalt notwendig... Photometrische Stereoanalyse (Kai Bader)

6 1. Grenzen von SFS-Verfahren
1.1 Der Term E0 ist bekannt und konstant E0 bekannt  Lösungsmenge ist bei einer Lambertschen Reflektanzkarte gleich einem Kegelschnitt im Gradientenraum (E0 bestimmbar, falls eine Orientierung n = s vorhanden und sichtbar ist) Zur Erinnerung: E0 Bestrahlungsstärke der Beleuchtung  Albedo / Reflektionskonstante Photometrische Stereoanalyse (Kai Bader)

7 1. Grenzen von SFS-Verfahren
1.2 Die Oberflächen sind mindestens C(1)-stetig Facettenübergänge / Objektkanten sind nicht immer wahrnehmbar  Stetigkeitsanforderung Da die Stetigkeitsanforderung für jeden Punkt gilt: Keine Möglichkeiten der Untersuchung polyedrischer Objekte (es existieren allerdings hierfür spezielle SFS-Verfahren welche mit einem Kantenoperator arbeiten) Photometrische Stereoanalyse (Kai Bader)

8 1. Grenzen von SFS-Verfahren
1.3 Es müssen singuläre Punkte bzw. Orientierungen bekannt sein (d.h. einige Höhenwerte, bevorzugt Orte mit einer Konvexität bzw. Konkavität oder Sattelpunkte sollten bekannt sein) Problem der Mehrdeutigkeit: konkav-konvex-Konflikt Photometrische Stereoanalyse (Kai Bader)

9 1. Grenzen von SFS-Verfahren
Aber nun zur Photometrischen Stereoanalyse Als Erweiterung der vorher behandelten SFS-Verfahren, genauer zur... Photometrische Stereoanalyse (Kai Bader)

10 2. Die Analyse von Irradianzpaaren
Kapitel 2 Der erste Erweiterungsschritt zur schattierungsbasierten Mehrbildanalyse Photometrische Stereoanalyse (Kai Bader)

11 2. Die Analyse von Irradianzpaaren
2S-Verfahren (2-Beleuchtungsquellenverfahren) Eine weitere Beleuchtungsquelle wird hinzugefügt Die Richtungen s1 und s2 der Beleuchtungsquellen dürfen nicht kollinear sein Zwei Aufnahmen durch einen Sensor bei identischer Positionierung und Orientierung, aber mit jeweils nur einer Beleuchtungsquelle Für jeden Bildpunkt ergeben sich so zwei Irradianzen: Irradianzpaar Photometrische Stereoanalyse (Kai Bader)

12 2. Die Analyse von Irradianzpaaren
Allgemeine Vorraussetzung: Bei einer Irradianz = 0 wird  = 0 angenommen, d.h. der Punkt ist nicht beleuchtet Beispiel für zwei Aufnahmen mit verschiedenen Lichtquellen: Photometrische Stereoanalyse (Kai Bader)

13 2. Die Analyse von Irradianzpaaren
Nur falls s = v gilt können alle Orientierungen der sichtbaren Punkte beleuchtet werden Bei SFS-Verfahren sind unter Annahme allg. Beleuchtungsrichtungen immer ein Teil der Orientierungen im Schatten Photometrische Stereoanalyse (Kai Bader)

14 2. Die Analyse von Irradianzpaaren
Je kleiner der Winkel  zwischen s1 und s2, desto mehr Orientierungen sind sichtbar Je größer der Winkel , desto robuster ist das Verfahren gegenüber Meßungenauigkeiten bei den Irradianzen  Eine optimale Wahl der Beleuchtungsrichtungen existiert nicht Alle bestrahlten Orientierungen sollten von v aus sichtbar sein (d.h. es sollte gelten: v = as1 + bs2 ) Photometrische Stereoanalyse (Kai Bader)

15 2.1 Lineare Reflektanzkarten
Für die Oberflächenrefflektion und die Beleuchtung wird ein lineares Reflektanzverhalten angenommen Jede gemessene Irradianz E1 reduziert die Lösungsmenge der Orientierungen auf eine von p abhängige Gerade h im Gradientenraum Existiert eine zweite Aufnahme mit veränderter Beleuchtungsrichtung und Irradianz E2, so ergibt sich eine zweite Gerade k. Photometrische Stereoanalyse (Kai Bader)

16 2.1 Lineare Reflektanzkarten
Beide Irradianzen beschreiben den gleichen Szenepunkt  Der Schnittpunkt (pm,qm) der Geraden h und k repräsentiert die einzige konsistente Orientierung Photometrische Stereoanalyse (Kai Bader)

17 2.1 Lineare Reflektanzkarten
Aus den beiden Gleichungen kann ein LGS gebildet werden: Mit zwei Reflektanzkarten deren Steigungen nicht identisch sind lässt sich für jedes Irradianzpaar eine eindeutige Orientierung konstruieren. Photometrische Stereoanalyse (Kai Bader)

18 2.2 Albedoabhängige Analyse
Der Lösungsansatz für Lineare Reflektanzkarten lässt sich nicht direkt auf Lambertsche Oberflächen übertragen (eine Bildirradianz beschränkt hier den Gradienten (p, q) auf Kegelschnitte, also Kurven 2.Ordnung) Für ein Irradianzpaar existieren max. zwei Orientierungen, da die Isoirradianzkurven höchstens zwei Schnittpunkte haben Photometrische Stereoanalyse (Kai Bader)

19 2.2 Albedoabhängige Analyse
Durch messen: Beleuchtungsrichtungen s1, s2 und Irradianzen E1, E2 Die Gradientenraumpräsentation sei durch ps1=p(s1), ps2=p(s2) gegeben Aus der Lambertschen Reflektionseigenschaft ergeben sich zwei Bildirradianzgleichungen als nichtlin. Gleichungssystem in p, q: (für E2 / s2 äquivalent) Photometrische Stereoanalyse (Kai Bader)

20 2.2 Albedoabhängige Analyse
Das Zweibein der Beleuchtungsrichtungen s1, s2 wird mit einer 3x3 Rotationsmatrix R rotiert bis beide Y-Komponenten der transform. Beleuchtungsrichtungen Null ergeben: s1 und s2 sind komplanar zur XZ-Ebene: Genauso kann mit den Oberflächenorientierungen verfahren werden: Photometrische Stereoanalyse (Kai Bader)

21 2.2 Albedoabhängige Analyse
Durch die Rotation vereinfacht sich das Gleichungssystem zu: (äquivalent für E2 / s2) Die Bildirradianzen ändern sich nicht durch die Rotation Photometrische Stereoanalyse (Kai Bader)

22 2.2 Albedoabhängige Analyse
Durch Eliminierung von kann das Gleichungssystem auf reduziert werden. p‘ als einzige Unbekannte kann (da sie in linearer Form auftritt) eindeutig aus (E1,E2) bestimmt werden. q‘ kann aus p‘ ermittelt werden Photometrische Stereoanalyse (Kai Bader)

23 2.2 Albedoabhängige Analyse
Die Gleichung Ist quadratisch in q‘  es existieren zwei Lösungen für q‘1,2 Photometrische Stereoanalyse (Kai Bader)

24 2.2 Albedoabhängige Analyse
Existiert ein Paar von Lösungsorientierungen, so sind diese Spiegelsymmetrisch zur Ebene aufgespannt von s1 und s2 Existiert nur eine Lösungsorientierung, so sind n, s1 und s2 komplanar Es kann eine eindeutige Oberflächenorientierung rekonstruiert werden, falls zur Modellierung Lambertsche Reflektanzkarten eingesetzt werden (dann sogar Punktlokal verwendbar) Photometrische Stereoanalyse (Kai Bader)

25 2.3 Eindeutigkeit durch Integrabilität
3 Beispiele für Verfahren, mit deren Hilfe trotz Mehrdeutigkeiten eine eindeutige Lösung rekonstruiert werden kann Direkte SFS-Erweiterung Konvexitätsannahme Integrabilitätsbedingung Photometrische Stereoanalyse (Kai Bader)

26 2.3 Eindeutigkeit durch Integrabilität
Direkte SFS-Erweiterung Rekonstruktion einer eindeutigen Oberfläche mit der Erweiterung schattierungsbasierter Einzelbildverfahren (besonders geeignet: globale Minimierungsansätze) Photometrische Stereoanalyse (Kai Bader)

27 2.3 Eindeutigkeit durch Integrabilität
Konvexitätsannahme Die Objektumgebung wird auf konkave oder konvexe Oberflächen beschränkt  die Lösung ist dann eindeutig bestimmbar Photometrische Stereoanalyse (Kai Bader)

28 2.4 Albedounabhängige Analyse
Die Verwendung Lambertscher Reflektanzkarten impliziert im allgemeinen, dass die Terme E0 und E1 bekannt und konstant sind. Wie groß ist aber die Mächtigkeit der Lösungsmenge, wenn die Albedo  unbekannt bleibt? Photometrische Stereoanalyse (Kai Bader)

29 2.4 Albedounabhängige Analyse
Bildirradianzen unter paralleler Beleuchtung: Nennerfrei gemacht und von einander subtrahiert: (diese kann als ein Skalarprodukt aufgefasst werden) Photometrische Stereoanalyse (Kai Bader)

30 2.4 Albedounabhängige Analyse
Ist 0, so kann die Albedo aus der Gleichung eliminiert werden. Mit der Hilfsgröße kann die Gleichung als vereinfachtes Skalarprodukt dargestellt werden: oder noch kompakter als: Photometrische Stereoanalyse (Kai Bader)

31 2.4 Albedounabhängige Analyse
Die Vektordifferenz s1,2 - s2,1 ist eine konstante Größe und s1, s2 aufgespannt Die veränderlichen Größen sind die Bildirradianzen E1 und E2 Vektor s1s2 ist orthogonal zur Vektordifferenz s1,2 - s2,1  Lösungen sind alle Vektoren n, für die das Skalarprodukt Null ergibt (n orthogonal zu s1,2 - s2,1) Photometrische Stereoanalyse (Kai Bader)

32 2.5 Kugelapproximation Prinzipiell: Albedounabhängige Rekonstruktion mit dem Irradianzpaar, vergleichbar mit dem Problem der albedounabhängigen Rekonstruktion von SFS-Verfahren (in beiden Fällen beschränkt die Irradianziformation die Orientierungen auf Kreise auf der Gaußschen Kugel) Bei SFS-Verfahren: Kreisumfang ist immer < 2 (je größer die Irradianz, desto kleiner der Kreisumfang) Photometrische Stereoanalyse (Kai Bader)

33 2.5 Kugelapproximation Die Irradianz E und der Kreisumfang U stehen durch die Gleichung in Relation. Bei albedounabhängigen 2S-Verfahren: Kreisumfang konstant 2 (damit i.a. größer als bei SFS) Photometrische Stereoanalyse (Kai Bader)

34 3. Analyse von Irradianztripeln
Ähnlich den vorherigen 2S-Verfahren werden nun Verfahren betrachtet, bei denen drei Beleuchtungsquellen eingesetzt werden. Diese 3S-Verfahren ordnen jedem Bildpunkt 3 Irradianzen, also das Irradianztripel, zu. Photometrische Stereoanalyse (Kai Bader)

35 3.1 Albedoabhängige Analyse
Mit einem Irradianzpaar einer Lambertschen Oberfläche kann die Lösungsvielfalt der Orientierungen auf maximal zwei beschränkt werden. Wird eine dritte Beleuchtungsquelle hinzugenommen, so entsteht ein weiterer Kreis auf der Gaußschen Kugel. Bei drei konsistenten Irradianzen müssen diese drei Kreise mindestens einen gemeinsamen Schnittpunkt besitzen. Mit der dritten Irradianz kann die korrekte der beiden Lösungsorientierungen ermittelt werden! Photometrische Stereoanalyse (Kai Bader)

36 3.1 Albedoabhängige Analyse
Im Gradientenraum wurde vorher das Paar der Lösungsgradienten durch Schnitt zweier Kegelschnitte bestimmt. Kommt eine weitere Beleuchtungsquelle hinzu, so schneiden sich die drei Kegelschnitte in einem Punkt. Dieser Schnittpunkt (p,q) im Gradientenraum repräsentiert die gesuchte Orientierung. Photometrische Stereoanalyse (Kai Bader)

37 3.1 Albedoabhängige Analyse
Auch ohne Berechnung der Lösungskandidaten kann eine Lösung bestimmt werden, indem die Schnittkurven nichtanalytisch erzeugt werden. Dazu werden die Reflektanzkarten als Bildmatrizen repräsentiert. Bei Verwendung eines Kalibrierobjektes müssen weder Beleuchtungsrichtung noch das Produkt E0 bekannt sein. Die Berechnung der Orientierungen erfolgt durch Schwellenwertsegmentierung der Reflektanzkarten. Durch die robuste Verfahrensweise können auch Oberflächen ohne Lambertsche Reflektionseigenschaften rekonstruiert werden. Photometrische Stereoanalyse (Kai Bader)

38 3.1 Albedoabhängige Analyse
Look-Up-Tabellen Ein im Bild gemessenes Irradianztripel lässt sich als Punkt im kartesischen Koordinatensystem E1E2E3 auffassen, wenn jede der drei aufspannenden Achsen die Bildirradianzen einer Beleuchtungsquelle repräsentieren. Jedem möglichen Irradianztripel ist eindeutig eine Oberflächenorientierung zugeordnet, so dass die die Generierung einer dreidimensionalen Look-Up-Tabelle möglich ist: Photometrische Stereoanalyse (Kai Bader)

39 3.1 Albedoabhängige Analyse
Zwei Möglichkeiten der Erstellung: Sind Richtung und Bestrahlungsstärke der Beleuchtungsquellen bekannt kann die Look-Up-Tabelle aus Reflexionsmodellen bestimmt werden. Mit einem Kalibrierungsobjekt bekannter Geometrie und Reflexion (das alle Orientierungen in diskreter Form aufweist) kann die Bestimmung der Bestrahlungsstärken und der Reflektionsparameter entfallen. Soll eine Oberflächenorientierung bestimmt werden, so muss lediglich der Tabelleneintrag nachgeschlagen werden. Dem Zeitvorteil beim Analysieren steht ein hoher Speicherbedarf entgegen. Photometrische Stereoanalyse (Kai Bader)

40 3.1 Albedoabhängige Analyse
Photometrische Stereoanalyse (Kai Bader)

41 3.2 Albedounabhängige Analyse
Ein Irradianzpaar beschränkt die Gradienten in einem Lambertschen Oberflächenpunkt unbekannter Albedo auf eine Gerade im Gradientenraum. Mit einer dritten Beleuchtungsquelle hat man drei Irradianzpaare, also auch drei Gradengleichungen. Unter der Vorraussetzung konsistenter Irradianzen besitzen diese immer einen gemeinsamen Schnittpunkt. Photometrische Stereoanalyse (Kai Bader)

42 3.2 Albedounabhängige Analyse
Unter 2.4 wurde eine Gleichung genannt, mit der zur Oberflächenorientierung orthogonaler Vektor berechnet werden kann - hier (E1,E2): (äquivalent für (E1,E3) und (E2,E3)) Durch Bildung des Vektorproduktes entsteht ein zur gesuchten Orientierung n kollinearer Vektor: Es gilt also: Photometrische Stereoanalyse (Kai Bader)

43 3.2 Albedounabhängige Analyse
Wird die Gleichung durch eine der Bestrahlungsstärken geteilt (hier E3), so ändert sich die Richtung des Vektors nicht bezüglich u. Dies bedeutet, dass für den Analyseprozess die Bestrahlungsstärken der Leuchtquellen nur relativ zueinander bekannt sein müssen. Die Albedo  kann folglich auch nur relativ bestimmt werden. Photometrische Stereoanalyse (Kai Bader)

44 3.2 Albedounabhängige Analyse
Beispiel für ein Bildtripel mit nichtuniformer Albedo: Photometrische Stereoanalyse (Kai Bader)

45 3.3 Bestimmung der Beleuchtungsrichtung
Durch Abwandlung des Ansatzes zur Photometrischen Stereoanalyse können diese zur Bestimmung einer Beleuchtungsrichtung eingesetzt werden. (Dieser Ansatz wird auch inverse Photometrische Stereoanalyse genannt) Photometrische Stereoanalyse (Kai Bader)

46 3.3 Bestimmung der Beleuchtungsrichtung
Bei der PS setzt voraus, dass für jeden Bildpunkt drei Beleuchtungsrichtungen s0, s1, s2 gemessen werden können. Aus den drei Irradianzen wird Punktneutral eine Oberflächenneutrale n bestimmt. Das Kalibrierungsobjekt wird mit einer Beleuchtungsquelle unbekannter Richtung s bestrahlt. Zur Berechnung der Beleuchtungsrichtung können die drei gemessenen Irradianzen mit der Oberflächenneutralen vertauscht und zu einer Matrix zusammengefasst werden: Die Bildirradianzgleichung kann nun aufgelöst werden: Photometrische Stereoanalyse (Kai Bader)

47 Nochmals Als Erinnerung...
? Grenzen der SFS-Verfahren Analyse von Irradianzpaaren Analyse von Irradianztripeln ? ? ? Fragen? ? Photometrische Stereoanalyse (Kai Bader)


Herunterladen ppt "Photometrische Stereoanalyse"

Ähnliche Präsentationen


Google-Anzeigen