1 Acquiring the Reflectance Field of a Human Face Paul Debevec et al.

2 Background (1) Gesichtsmodellierung und –animation -3D-Photographie (Scanners)  Gesichtsgeometrie  Texture Map darüberlegen Problem: beleuchtungsabhängig -Abschätzung von Gesichtsmodellen direkt vom Bild

3 Background (2) Reflektometrie –Messungen, wie Materialien Licht reflektieren –BRDF –Reflexionsmodelle (BRDFs als Parameterfunktionen) –Modelle für geschichtete Oberflächen  „subsurface scattering“ –Reflexionsabschätzungen mit Bildern

4 Background (3) Bildbasierte Modellierung und Rendering –Summierung von „Basisbildern“ –Einfangen von realen Beleuchtungs- bedingungen

5 Motivation (1) Methode, um Gesichter zu rendern, und zwar unter beliebigem Verändern –der Beleuchtung –„viewing direction“ Basierend auf Photoaufnahmen Linearkombinationen von Grundbildern Extrapolation von „reflectance fields“

6 Reflectance Field R = R(R i ;R r ) = R(u i, v i,  i,  i ; u r, v r,  r,  r ) (  i,  i ) (  r,  r ) (u i, v i ) (u r, v r ) (a)(b) (u r, v r ) (  r,  r ) (  i,  i ) „non local reflectance fields“

7 Re-illuminating Faces (1) Überblick –Akquisitionsprozess –Aufbau der „reflectance function“ –Rendern des Gesichts von den originalen „viewpoints“ aus, aber unter beliebiger neuer Form der Beleuchtung

8 Re-illuminating Faces (2) „The Light Stage“ –64 x 32 Bilder  : Azimut  : Inklination „Reflectance Function“ R xy ( ,  ) –für jeden Pixelort (x,y) –vom Pixel reflektierter Strahl bei Beleuchtung aus Richtung ( ,  )

9 Re-illuminating Faces (3) Eigentliche Berechnung eines Bildes unter neuer Beleuchtung Annahme: Weisses Licht der Original- lichtquelle Mit zusätzliche Normalisierung Berechnung in JPEG möglich

10 Changing the Viewpoint (1) Überblick –Extrapolation von kompleten „reflectance fields“ –Ermöglicht Rendern des Gesichts von beliebigem „viewpoint“ aus und unter beliebiger Beleuchtung –Reflexionsmodell der Haut

11 Changing the Viewpoint (2) Reflektiertes Licht kann zerlegt werden in: –Eine spekulare Komponente –Eine nicht-Lambertsche diffuse Komponente –Experimente: Mit Polarisationsfiltern Monte-Carlo-Simulation

12 Changing the Viewpoint (3) Separierung in spekulare und „Subsurface“ Komponente –Polarisationsansatz zu aufwendig –Farbraum-Analyse-Technik (nach Y.Sato und K. Ikeuchi) –RGB-Wert einer „reflectance function“

13 Changing the Viewpoint (4) Output dieser Separation: –Diffuse „reflectance function“ D( ,  ) –Spekulare „reflectance function“ S ( ,  ) –Oberflächennormale D und S können noch transformiert werden, so dass sie unabhängig von der originalen „viewing direction werden“

14 Changing the Viewpoint (5) Reflectance function Spekularer Teil Diffuser Teil

15 Changing the Viewpoint (6) Auf neuen „viewpoint“ transformierte spekulare Komponente + Geshifteter diffuser Teil Neue „reflectance function“ Fotografierte, „richtige“ reflectance function

16 Changing the Viewpoint (7) Berücksichtigen von Schatten: –Ab einer bestimmten Helligkeit ist Schatten –Keine Glanzpunkte innerhalb von Schattenzonen

17 Resultate (1) Demoprogramm Vergleich mit: –„Reflection from Layered Surfaces due to Subsurface Scattering“ von Pat Hanrahan und Wolfgang Krueger Monte Carlo Simulation

18 Beispiel aus „Reflection from Layered Surfaces due to Subsurface Scattering“

19 Beurteilung Sehr realistische Resultate Simple Ausrüstung Nur statisch Rechenaufwendig Mühsames Aufnahmeprozedere keine spezielle Datenstruktur + -

20 ENDE

21 Jetzt kommen noch die Overhead-Folien

22

23

24 Von Stirn Reflectance Functions Beispiele von einzelnen Punkten des Kopfes Von Wange

25 light map AA normalized light map normalized light map reflectance function lighting product rendered pixel

26

27

28

29 „normales“ Photo„diffus“ horizontaler Polarisierer auf Kamera „spekulares“ hervorgehogen vertikaler Polarisierer auf Kamera Licht ist vertikal polarisiert -

30 „diffus“ Beobachtung: Entsätigung akzentuiert spekular Beobachtung: für grosse  stärkere Spekularität

31

32