Aktuelle Entwicklungen in der Echtzeit Computergrafik Ralf Habel Institute of Computer Graphics and Algorithms Vienna University of Technology

Ich Post-Doc am Institut für Computergrafik und Algorithmen, TU Wien Dissertation in Echtzeit Vegetationsdarstellung und Animation Aktuelle Forschung: Precomputed Lighting, Computational Photography Vorher: Physikstudium Uni Stuttgart Ralf Habel

Überblick Was ist Echtzeitgrafik? Evolution der Echtzeitgrafik Vorgehen in der Echtzeitgrafik Computerspieleindustrie Weitere Entwicklungen in der Echtzeitgrafik Ralf Habel

Was ist Echtzeitgrafik? Im traditionellen Sinne: Bildsynthese mit interaktiven Bildraten zur direkten Manipulation und Interaktion. Einsatzgebiete: Computerspiele Virtual/Augmented Reality Architekturvisualisierung Datenvisualisierung Medizinische Visualisierung Ralf Habel

Was ist Echtzeitgrafik? Im heutigen Sinne: Echtzeit- Bildsynthese Animation (Charaktere, Gesichter, Verhalten) Simulation (Rigid Bodys, Fluiddynamik) Ralf Habel

Was ist Echtzeitgrafik? Stark interdisziplinäres Feld: Physik (Optik, klassische Mechanik, Fluiddynamik, Radiometrie… ) Biologie (Gesichter, Bewegungsapparat) Psychologie (Wahrnehmung) Neurowissenschaft (Multimodale Effekte) Sämtliche angewandte Mathematik wird eingesetzt Vektor/Matrixalgebra, Analysis, Funktional-analysis, Geometrie … Ralf Habel

Grundlagen der Echtzeitgrafik Einsatz von paralleler spezialisierter Hardware (Graphics Processing Unit: GPU) ermöglicht sehr schnelle Datenverarbeitung mehrere hundert Cores (Prozessoren) parallel Sehr schneller RAM Zugriff durch dedizierten Speicher (GPU RAM) Hardwareunterstützung von speziellen mathematischen Methoden (Transformationen, Lichtberechnungen, Filterung) Ralf Habel

Mooresches Gesetz für CPUs Gordon Moore, 1965 Exponentielles Wachstum der Transistoranzahl Verdopplung alle 18 Monate  Jährliches Wachstum von: 1.6 Stagniert im Moment, Verschnellerung durch mehrere Cores (Parallelisierung). (Logaritmische Achse) Vienna University of Technology

Mooresches Gesetz für GPUs Fast Mooresches Gesetz quadriert Performanz verdoppelt sich alle 9-12 Monate Grund: Hardware Parallelisierung is einfach, Echtzeitgrafik ist ein hochparalleles Problem Vienna University of Technology

Evolution der Echtzeitgrafik AMD Radeon HD 6970 November 2010 2.7 TeraFLOPS 2 Gigabyte RAM (1 Terabyte Storage) 0.03 Quadratmeter ASCI Red Schnellster Supercomputer 1999 3.1 TeraFLOPS 1616 Gigabyte RAM 12.6 Terabyte Storage 212 Quadratmeter Schnellster Supercomputer 2011 Tianhe-1 : 4.7 PetaFLOPS 14336 CPUs and 7168 GPUs. Vienna University of Technology

Erste Generation – Wireframe Vor 1987 Transformation und Projektion von Modellen Farbinterpolation Vienna University of Technology

Zweite Generation – Schattierung 1987-1992 Vollstaendige Dreiecke, Tiefeninterpolation Einfache Lichtberechnungen Vienna University of Technology

Dritte Generation – Texture Mapping 1992-2000 Texturen, Texturkoordinaten Texturfilterung Mehrfachtexturierung Vienna University of Technology

Vierte Generation – Programmierfähigkeit Von Modelltranform- ationen (Animation, Simulation) Lichtberechnungen (Schatten, Oberflächen, globale Beleuchtung) Ermöglicht eine Vielzahl an Methoden und Effekten und deren Kombination Nahezu photorealistisch Vienna University of Technology

Video Beispiele Quake (1996) Crysis 2 (2011) 10-20 Echtzeitmethoden Hunderte an Methoden Ca. 1000 fach komplexere Geometrie und Texturen Video Vienna University of Technology

Vorgehen in der Echtzeitgrafik Echtzeitgrafik nutzt eingeschränkte und leicht täuschbare menschliche Perzeption Simplifizierende Tricks zur Darstellung von zu komplexen Objekten und Effekten. Beispiel: Bäume Hochkomplexe Geometrie tausende an Ästen, zehntausende Blätter Hochkomplexe Bewegung hierarchische Bewegung der Äste, Einzelbewegung der Blätter Vollständig korrekte Darstellung zu resourcenintensiv für heutige Computerspiele Nur 10-30% der Gesamtresourcen können für Vegetation benutzt werden Vienna University of Technology

Bäume in der Echtzeitgrafik Zu komplexe Geometrie wird auf wenige, grosse texturierte Flächen reduziert: Vollständige Korrektheit nicht wahrnehmbar auf Entfernung Fehler und Artefakte werden akzeptiert oder ignoriert ohne direkte korrekte Referenz Vienna University of Technology

Bäume in der Echtzeitgrafik Video Vienna University of Technology

Bäume in der Echtzeitgrafik Akademischer Stand der Technik Nahezu vollstaendige Nutzung einer modernen GPU Schnellste/beste Methoden Physikalisch basierter Ansatz erlaubt: Vollständiges Baummodell Schnelle Animation aller Äste und Blätter Korrekte dynamische Beleuchtung und Schattierung (Transluzenz, Blattflächen) Kein Bruch der Illusion auch bei Nahaufnahmen Kommerzielle Einsatzfähigkeit in ca. 1-2 Jahren Vienna University of Technology

Bäume in der Echtzeitgrafik Video Vienna University of Technology

Computerspiele Industrie Überholte Filmindustrie 2007-2008 Globale Einnahmen ~60 Milliarden $ (Film ~50 G$) Marktdynamik vergleichbar mit Filmindustrie: AAA Computerspiel 100-350 Millionen $ Rekord: 7 Millionen Einheiten von CoD: Modern Warfare 2 verkauft in 24 h (350 M $) Blockbuster Film 150-270 Millionen $ Rekord: Best Opening Weekend:The Dark Knight (158 M $) Vienna University of Technology

Computerspiele Industrie Echtzeit Bildsynthese ist eine Frage der Computer-resourcen und deren intelligente Ausnutzung Nicht vollständig Datenabhängig Aber: Content (Charaktere, Levels, Animationen, Texturen…) muss von 3D Artists von Hand erstellt werden Content, nicht Methodik bestimmt visuelle Qualität Prozedurale und automatisierte Erstellung von Content wird immer wichtiger (auch als akademisches Feld) Programmierer : 3D Artist ~ 1:10 Vienna University of Technology

Computerspiele Industrie - Beispiel Gesichtsanimation Perzeption reagiert auf kleinste Fehler in der Animation Fehler nicht nur störend, sondern illusionszerstörend durch direkten emotionalen Bezug zu Gesicht (im Gegensatz zu Bäumen) “Uncanny Valley” -Problem Vienna University of Technology

Video Beispiele Mass Effect 2 (2010) L.A. Noire (2011) 3D Artist erstellte Gesichtsanimation L.A. Noire (2011) Motion captured Gesichtsanimation von Schauspielern Video Vienna University of Technology

Weitere Entwicklungen der Echtzeitgrafik Auflösung sämtlicher Restriktionen in den Berechnungen Bisher: Restriktive Schnittstellen (OpenGL, DirectX) In Zukunft: allgemeiner paralleler Prozessor Alles ist erlaubt Methoden aus offline Rendering (Film, Visual Effects) fliessen in die Echtzeitgrafik ein Ray Tracing, Higher Order Surfaces… “billige” Tricks werden durch akuratere Methoden ersetzt Film- und Spiel- Grafik konvergieren Vienna University of Technology

Weitere Entwicklungen der Echtzeitgrafik Beispiel Ray Tracing Bisher in Film und Visual Effects Monte Carlo Simulation von Strahlen Erlaubt physikalisch akkurate Simulation von Oberflächen und Licht Aber sehr rechenaufwändig Aktuelle CPUs und GPUs bereits schnell genug für sehr einfache Szenen Aber nicht schnell genug um mit bisherigen Methoden zu konkurrieren GPUs mit direkter Ray Tracing Unterstützung bereits in Entwicklung Vienna University of Technology

Beispiele Video Vienna University of Technology

Weitere Entwicklungen Nur leichte Abflachung des Geschwindigkeits-zuwachses in der Hardwareentwicklung 2013: 15 TeraFLOP GPUs Vereinigung von CPU+GPU auf einem Chip AMD Fusion und intel Sandybridge (i5/i7) bereits auf dem Markt Computerspieleindustrie immer noch im 2 stelligen Wachstumsbereich Echte Kinoqualität in Spielen in ca. 10 Jahren Vienna University of Technology

Weitere Entwicklung der Echtzeitgrafik GPU wird integraler Bestandteil einer CPU als paralleler Prozessoranteil (APUs) Echtzeitgrafik nur spezielles paralleles Problem Beschleunigung sämtlicher Berechnungen im Consumer Bereich Heute bereits über CUDA und OpenCL möglich Im Supercomputer-Bereich bereits etabliert Vienna University of Technology

Von Pixar, ILM, Disney, Crytek, Lucasfilm … Pixel 6 3 tägige internationale Computergrafikkonferenz in Wien ca. 400 Teilnehmer Fachvorträge über Filmproduktion Visual Effects Games … Von Pixar, ILM, Disney, Crytek, Lucasfilm … Nur 45 Euro Eintritt! Vienna University of Technology

Vielen Dank! Fragen? Vienna University of Technology