Modul: B-CG Grundlagen der Computergraphik Begrüßung und Einführung Prof. Dr. Detlef Krömker Professur für Graphische Datenverarbeitung Institut für Informatik Fachbereich Informatik und Mathematik (12)

Das Ziel der heutigen Veranstaltung Übersicht zur Veranstaltung und deren Einordnung: im Allgemeinen und an der Goethe-Universität. Wie lernt man Computergraphik? Welche Materialen stehen für Sie zur Verfügung? Scheine und Prüfungen Einige „Specials“

Übersicht Scheine und Prüfungen Was ist Computergrafik? Computergrafik an der Goethe-Universität Wie lernt man CG? Vorlesung und Übung Themenübersicht Literatur, bereitgestellte Materialien Scheine und Prüfungen Specials: Fachzeitschriften, Konferenzen, Web-Quellen Readings Fragen und Antworten Ausblick – Nächste Schritte

1. Was ist Computergrafik? Der Begriff Computergraphik: Technologien und Anwendungen Einordnung in den Wissenschaftskanon: Die fachliche Breite der CG Etwas Geschichte Wichtige Fachgesellschaften und Normungsgremien

Eine etwas „sperrige“ Definition (GI-FB GDV) „Unter Graphischer Datenverarbeitung (GDV) versteht man die Technologie, mit der Bilder im allgemeinen Sinn des Wortes (Graphiken, Grau- und Farbbilder) mit Hilfe von Rechnern erfasst bzw. erzeugt, verwaltet, dargestellt, manipuliert, in einer für die jeweilige Anwendung geeigneten Form verarbeitet und mit sonstigen, auch nicht-graphischen Anwendungsdaten in Wechselbeziehungen gebracht werden können. Dazu gehören auch die rechnergestützte Integration und Verknüpfung dieser Bilder mit anderen Kommunikationsmedien, wie Audio, Sprache und Video, zur Realisierung komplexer multisensorischer Dialogtechniken.“ Fachbereich „Graphische Datenverarbeitung“ ist einer von 13 Fachbereichen der Gesellschaft für Informatik, siehe http://www.gi-ev.de/gliederungen/fachbereiche/

Einfacher in Englisch? “Computer graphics (CG) is the field of visual computing, where one utilizes computers both to generate visual images synthetically and to integrate or alter visual and spatial information sampled from the real world. … This field can be divided into several areas: real-time 3D rendering (often used in video games), computer animation, video capture and video creation rendering, special effects editing (often used for movies and television), image editing, and modeling (often used for engineering and medical purposes). from: http://en.wikipedia.org/wiki/Computer_graphics „The pictorial representation and manipulation of data by a computer“ from: http://wordnet.princeton.edu/perl/webwn?s=computer%20graphics ???

Technologien und Anwendungen CAM CAD CAE Computergrafik CG oder Computergraphik oder Graphische Daten- verarbeitung GDV war und ist oft Enabling Technology Training (Sichtsimulation, CGI Systeme) Computer-Spiele Computer-Animation + Special Effects Computer-Kunst Ingenieuranwendungen CAx GUI = „Gesicht“ jeder modernen Computeranwendung Animation Kunst Training (CGI) Spiele CG GDV GUIs

Computergraphik CG Anwendungen und Technologien Virtual Factory Computergraphik CG Anwendungen und Technologien CAD CAM CAE Special Effects in Film und Video Augmented Reality CG Bildverarbeitung GUI Virtual Reality Human Computer Interaction (HCI) Multimedia Mixed Reality Printing & Publishing Kunst Animation Games Entertainment Visualisierung Training CGI Sichtsimulatoren Geographische Informationssystem GIS

Schalenmodell Produktentwicklung Virtual Factory Special Effects in Film und Video Robotics Schalenmodell CAE CAD CAM Bildverbesserung Objekterkennung Aufklärung Qualitätssicherung Animation CG BV 2D GUIs Bild- analyse HCI 3D GUIs Printing & Publishing MM MR Kunst Games Entertainment Visualisierung E-Commerce Web-Kataloge Medizin Chemie Biologie Geographische Informationssystem GIS Geologie E-Learning Training CGI

Problemorientierte (spezielle) Technologien Kerntechnologien Computergrafik Digitale Bildverarbeitung  Basisvorlesungen für Visual Computing Problemorientierte (spezielle) Technologien HCI Human Computer Interface Multimedia Animation Visualisierung Mixed Reality (Virtual Reality, Augmented Reality) (Virtuelle Realität, Erweiterte Realität)  Spezialvorlesungen

Die Relation CG und Bildverarbeitung Das klassische Schema nach Rosenfeld ´75 Historisch: Strenge Trennung zwischen Computergraphik und Bild- verarbeitung: HW, SW, Systeme, Methoden, ..., Personen, Konferenzen, ... Heute: Integrierte Betrachtung

Computergraphik und Bildverarbeitung • Symbolische Ebene: • Merkmalsebene • Abtastebene • Reiz- & Aktionsebene beliebige Datenstruktur Text, Tabellen (Noten, .. Modelle (Kinematik, Dynamik, Verhalten) Geometrie & (visuelle) Merkmale Animation Festbild Digitalvideo Grafik- und Merkmals-Primitive Digitales Bild optisch optisch (haptisch, akustisch)

Die wichtigsten Transformationsschritte 1 • Symbolische Ebene: • Merkmalsebene • Abtastebene • Reiz- & Aktionsebene beliebige Datenstruktur Visualisierung Bildanalyse, -verstehen Grafik- und Merkmals-Primitive Rendering Merkmalsextraktion Digitales Bild Anzeige (Display) Aufnahme

Die wichtigsten Transformationsschritte 2 • Symbolische Ebene: • Merkmalsebene • Abtastebene • Reiz- & Aktionsebene beliebige Datenstruktur Graphikbearbeitung Grafik- und Merkmals-Primitive d.h. der Schwerpunkt in CG ist Bildsynthese Rendering Anzeige (Display) Bildbearbeitung: u.a.Compositing Digitales Bild

Rendering Photorealismus ist keine wirkliche Herausforderung mehr! Klassische Beleuchtungsmodelle reichen weitgehend! Ggf spezielle Modellierungsmethoden BRDFs und BTFs verbessern Realitätstreue weiter und lösen „Problemobjekte“: z.B. Haut und Haare

Prozedurale Fraktale Modellierung

Prozedurale Fraktale Modellierung

Fraktale Modellierung

Graphikbearbeitung – Rendering – ggf. Compositing und Anzeige sind Grundoperationen der Computergraphik und Basis jeder graphischen Anwendung und Spezialisierung: Multimedia HCI Human Computer Interface Visualisierung Mixed Reality (Virtual Reality, Augmented Reality) (Virtuelle Realität, Erweiterte Realität) Animation Prinzipien und Beispiele aus unserer Arbeit!

S MM > Multimedia Text Bild Graphik Ton Video Zu viele Definitionen, aber: Interaktion macht den Unterschied! Ivan Sutherland (1965) „The screen is a window through which one sees a virtual world. The challenge is to make that world look real, act real, sound real, feel real”  

High-End Content – Produktionen fürs eLearning Der Gläserne Reaktor für Axiva 2000-2002 VRML-Anwendung Christian Seiler

Trainingssimulatoren Der Trainingssimulator aus ETOILE (EU-Projekt)

Antikörper ca. 16.000 Atome Wechsel zwischen verschiedenen Abstraktionen

High-End Content – Produktionen fürs eLearning Pixel Explorer für Merck (2004/2005) Michaela Mümpfer Dennis Bayer siehe: http://www.merck.de/ servlet/PB/menu/ 1235790/index.html

Pigment-Explorer für Merck 2005/2006 noch nicht freigegeben Michaela Mümpfer Ashraf Abu Baker

Human Computer Interface (HCI) nicht Benutzerschnittstelle sondern Benutzungsschnittstelle „Gesicht“ eines interaktiven Programms State-of-the-Art WIMP-Schnittstellen Windows Icons Menues Pointing Devices H. Fuchs 2001

Sutherland’s Sketchpad (1963) HCI und Interaktion Herausforderungen: Werkzeugmetapher  Assistentenmetapher Integration von Mixed Reality UI auf Mobile Devices ... Sutherland’s Sketchpad (1963) Engelbart’s Mouse (1963-64)

Definition „Visualisierung“ Grundsätzliches Visualisierung bezeichnet den Vorgang der Sichtbarmachung von Materie, Energie, Information oder Prozessen. In der Informatik reduziert sich dieses auf die Visualisierung von Daten, Informationen, Modellen, ... „In der Tat ist der Mensch ein Augentier.“ Herbert W. Franke Etwas Altbekanntes: „Imagination oder Visualisierung und besonders die Benutzung von Diagrammen haben einen entscheidenden Anteil an der wissenschaftlichen Forschung.“ Rene Descartes, 1637

Visualisierung Moderne Definition(-sversuche) Zwei Aspekte: “making visible, especially to one’s mind (things not visible to the eye)”  modernes Mikroskop, Teleskop, ... Bsp. Molekül; Imaging in der Medizin “forming a mental image of something (thing not present to the sight, an abstraction, etc.)” ... Informationsvisualisierung ... the use of computers or techniques for comprehending data or to extract knowledge from the results of simulations, computations, or measurements Mc Cormick, De Fanti, Brown 1987

Das Visualisierungsproblem

Was ist dies?

oder dies?

Die 2D-sinc Funktion

Visualisierung von Messdaten Aufbereitung und Visualisierung von Messergebnissen aus der Biologie: Ultraschallmikrosskopie Dr. Christian Seiler

Visualisierung von Simulationsergebnissen 3D-Reaktions- / Diffusionssystem Dr. Christian Seiler

Mixed Reality = VR +AR VR: Begriff von Jaron Lanier, 1987 geht aber zurück auf Artifical Reality von Myron Krueger, 1982 als Hauptziel: Immersion (Vermittlung des Gefühls, Teil des Geschehens zu sein – eingetaucht zu sein) AR: Augmented Reality (erweiterte Realität)

Animation – zur Terminologie (1) Animation bezeichnet die Gesamtheit der Methoden zur Erzeugung synthetischer Bewegtbilder (2) Animation nennt man ein vermittels (1) erzeugtes Produkt (auf Bewegtbildmedien) Ursprünge: animus: Lufthauch, Atem animos: beleben anemos (anemos): Wind, Atem Zeitvariante Computergraphik

Luxo Jr. by John Lasseter (1986) Ein paar Pixar-Animations: Luxo Jr. by John Lasseter (1986)

Toy Story (1995)

Gerrys Game (short) (1997) A Bug’s Life (short) (1998)

For the Birds (short) 2000                                                                                                                                

Finding Nemo 2003 wenn Sie mehr sehen wollen, kommen Sie zu den Filmabenden: The History of Computer Graphics 11.5. 18.00 Uhr Best of SIGGRAPH Video Review 22.6. 18.00 Uhr

Die fachliche Breite der CG Hardware und Systeme Psychophysik des Visuellen Systems und Bildwahrnehmung: Form, Farbe, Bewegung, ... Geometrische Probleme, numerische Probleme physikalische Modellbildung, z.B. Licht-Materie-Interaktion algorithmische Probleme und Optimierungen Systemtheorie Design- und Gestaltungsfragen, ... Softwareergonomie, SW-Engineering, ...

Relationen zu anderen Technologie- und Wissensgebieten Hardware (Technische Informatik) Wahrnehmungs- und Kognitions-Psychologie Ergonomie  Arbeitswissenschaften Semiologie (Zeichenlehre)  Philosophie Farbenlehre  Physik und Kunst Physik ... Simulation Systemtheorie Mathematik Geometrie CAGM (Computer Aided Geometric Modeling) Numerik Networking (Internet) SW-Engineering, u.v.a.m.

Entwicklung der Gerätetechnik war oft entscheidend für die Entwicklung der Computergraphik Erste Schritte bis 1965 50er 1959 1961 Kathodenstrahlröhre wird zur Bildausgabe unter Computersteuerung eingesetzt: Oszilloskop Kalligraphische (Vektor-) Displays = (x,y)-Schreiber Lichtgriffel (Light-Pen) um Punkte auf dem Bildschirm anzusprechen Erstes computergestütztes Zeichensystem DAC-1 (Design Augmented by Computers) bei General Motors /IBM Sketchpad-System (Sutherland, PhD 1963, MIT ) Datenstrukturen / Bildhierarchien Bildkomposition aus graphischen Standardelementen Interaktionstechniken (Tastatur, Lichtgriffel) Steve Russel (MIT) entwickelte erstes video game (Spacewar) auf einer DEC PDP-1

Sturm und Drang 1965 - 1975 Alan Kay (Xerox Parc) entwickelt die Desk-Top-Methapher des graphischen User Interfaces  Apple (Lisa, MAC, …) Begriff “Informatik” für “Computerwissenschaft” in Deutschland Bézierkurven (Bézier) werden bei Renault eingesetzt, CAD-Systeme Erstes Computer-Rasterdisplay GINO (van Dam) Geräteunabhängiges Ein-Ausgabesystem (Logische Ein-Ausgabegeräte, normalisierte Gerätekoordinaten) Seillac 1 und Seillac 2 Workshop Basis für Internationale Normen (Standards): (CORE 1977), GKS 1985, PHIGS 1989, CGI, … ) Hunger„ von Peter Foldes : Erster voll animierter Film mit Hilfe von Computer Techniken( Interpolation und Inbetweening). Die erste Morphing Technik 1969 1971 1970 – 1975 1974

Hardwareentwicklung Schlüsseltechnologie Mitte 70er Ende 70er Anfang 80er Raster-Displays werden als Textterminal eingesetzt, damit auch Blockgraphik möglich CRT-Controller (Bildspeicher auslesen und auf den Schirm ausgeben) Hardwareunterstützung von 2D-Operationen BitBLT Weitere Details siehe Doc Computer Graphics History

Rolle und Struktur dieser Veranstaltung (1) Grundlagen der Computergrafik Modul-Nr.: B-CG Credit Points: 6 Rhythmus: jährlich SS Dauer: einsemestrig Vertiefungs-modul Zuordnung: Angewandte Informatik ANI PT 3 / PTBI Veranstaltungen: Vorlesung und Übung 2V+2Ü Zulassungsvoraussetzungen: Erfolgreicher Abschluss des Moduls B-PRG oder des Moduls B-HW oder der beiden Module B-MOD und B-DS Modulabschlussprüfung: Im SS 05 / WS 06/07 mündlich

Ziele dieser Veranstaltung Anwendungskompetenz: Die Studierenden haben die grundlegenden Problemstellungen, Methoden, Verfahren und Algorithmen der Computergraphik kennen gelernt. Die Studierenden sollen im Stande sein, für konkrete Problemstellungen systematisch brauchbare Lösungen zu entwickeln und diese zu validieren. Sie sollen problemorientiert geeignete Verfahren und (Basis-) Systeme auswählen und anwenden können.

Ziele dieser Veranstaltung Theoretische Kompetenz: CG nutzt neben informatischen Modellen auch spezielle grundlegende Verfahren aus der Mathematik, der Physik, der Signaltheorie und Elemente der subjektiven Wahrnehmung. Elementare Kenntnisse dieser „Theorien“ soll es den Studierenden ermöglichen, nicht nur aktuelle Lösungen und Systeme zu beherrschen, sondern theoretisch untermauerte grundlegende Konzepte und Methoden zu kennen, die über aktuelle Trends hinweg Bestand haben.

Ziele dieser Veranstaltung Gestaltungskompetenz: Die Studierenden haben die Grundlagen und Prinzipien der Programmierung Graphischer Systeme kennen gelernt und können Probleme brauchbar lösen. Autodidaktische Kompetenz: Die Studierenden sind durch die Grundlagenorientierung dieses Moduls gut auf lebenslanges Lernen vorbereitet. Sie sollen die erlernten Konzepte und Methoden auf zukünftige Entwicklungen übertragen können. Die Studierenden haben gelernt, die Entwicklungen auf dem Gebiet Computergraphik so zu beurteilen, dass sie daraus ihren eigenen Weiterbildungsbedarf ableiten können.

Zyklus Vorlesungen / Übungen Praktika Seminare Diplom Bachelor - Master WS VIS (E) 6 CP 2V+2Ü BK 4 CP 2V+1Ü ROB 3 CP 2V Haupt- studium PT 3 PTBI P5/P6 M-Vertiefung VC (Planung) ADR 3 CP 2V ANIM 4 CP 2V+1Ü MR 4 CP 2V+1Ü MVC-PR 8 CP 4PR ROB-PR 4 CP 2V+1Ü SS B-Vertiefung Angewandte Informatik ANI OGL 6 CP 2V+2Ü HCI 4 CP 2V+1Ü MMS 3CP 2V BVC-PR 8 CP 4PR WS SS CG 6 CP 2V+2Ü DBV 6 CP 2V+2Ü ANI-BS 3 CP 2S B-Ergänzung WS PM NMG Grund- studium B-Basismodule WS PRG 1 EDGI PRG-PR

Veranstalter (in 2006/2007) WS SS Prof. Dr Detlef Krömker PRG 1 HCI NMG CG MR VC-PR PRG-PR MVC-PR ANI-BS (S/P) Prof. Dr. Rudolf Mester EDGI ROB DBV MR VC-PR MVC-PR ROB-PR ANI-BS (S/P) Dr. Tobias Breiner AR VIS ANIM Dr. Hans Joseph LB OGL ADR Dr. Anh Vuong LB PM MMS BK

Empfehlungen für die Diplomstudiengänge Informatik Diplom PT3 CG  DBV  VIS 12 SWS CG  OGL  VIS 12 SWS CG  MMS  HCI  BK 12 SWS DBV  ROB  HCI  BK 12 SWS dazu MR-PR + ROB-PR + MMR-PR 4 SWS Bioinformatik Diplom Praktisch/Technische CG /+ DBV /+ VIS /+ HCI 12 SWS Bioinformatik: /+ MMS /+ BK /+ „Visualisierung“ durchaus in Kombination mit „Digitale Medien“ Veranstaltungen von Schneider „Modellbildung+Simulation“ möglich MR-PR + Seminar

Empfehlungen für den Bachelor-Studiengang 16 – 24 CPs: CG  DBV  HCI 16 CP CG  DBV  OGL 18 CP CG  DBV  MMS 15 CP CG  OGL  HCI 16 CP dazu B-VC-PR 8 CP oder Seminar 3 CP  sehr gute Voraussetzung für BA-Arbeit 8 - 12 CPs CG oder DBV  MMS 9 CP CG oder DBV  HCI 10 CP CG  DBV 12 CP CG  OGL 12 CP CG oder DBV  Seminar 9 CP  Mindestvoraussetzung für BA-Arbeit

Themenübersicht und Terminplanung (Vorlesung) 0. Prolog und Einführung 20.4. Grundlagen des digitalen Bildes 27.4. Geometrierepräsentationen in 2D und 3D: 4.5. Punkte, Linien, Flächen, Körper. Geometrische Transformationen R 1 11.5. The History of Computer Graphics Filmabend 11.5. 18.00 Bildwahrnehmung 18.5. Feiertag 25.5. Farbmetrik und Farbrepräsentationen R 2 1.6.

Themenübersicht und Terminplanung (Vorlesung) Klipping + Visibilitätsrechnung 8.6. Feiertag 15.6. Rastern + Antialiasing R 3 22.6. Best of SIGGRAPH Video Review Filmabend 22.6. 18.00 Shading + Beleuchtungsrechnung 29.6. Texturen 6.7. Graphische Systeme 13.7. Ray Tracing und Radiosity – Ausblick 20.7.

Themenübersicht und Terminplanung (Übung) Einführung in VRML - Ausgabe der VRML-Aufgabe P1 25.4. Einführung in die CGpedia 2.5. Abgabe der VRML-Aufgabe P1 – Ausgabe Ü1(Transf.) 9.5. Einführung in JAVA 2D/Piccolo - Ausgabe der Aufgabe P2 16.5. Abgabe / Besprechung der Ü1 23.5 Ausgabe des Ü 2 (Farbe) (in der Vorlesung) (1.6.) Abgabe der Aufgabe P2 6.6. Abgabe / Besprechung der Ü 2 – Ausgabe Ü3 (Klipping,Vis-R) 13. 6. Einführung in JAVA 3D - Ausgabe der Aufgabe P3 20.6. Abgabe / Besprechung der Ü 3 – Ausgabe Ü4 (Rastern, Antia) 27. 6. Abgabe / Besprechung der Ü 4 – Ausgabe Ü5 (Shading, Bel-R) 4.7. Abgabe / Besprechung der Ü 5 11.7. Abgabe der P3 18.7.

Literatur, Unterlagen zur Vorlesung, Bücher, Weitere Quellen Folien auf WWW Server www.gdv.cs.uni-frankfurt.de in ca. 2 Wochen (fast ) vollständig Ergänzungen Zug um Zug Lehrbücher Watt, Alan: 3D Computer Graphics, ADDISON WESLEY LONGMAN Möller, Haines: Real-Time Rendering AK Peters Ltd. Shirley: Fundamentals of Computer Graphics, 2006

Weitere Lehrbücher Zeppenfeld: Lehrbuch der Graphikprogrammierung, Spektrum, 2004 Foley, James D et.al : Introduction to Computer Graphics, ADDISON WESLEY LONGMAN Encarnacao, Strasser, Klein: Graphische Datenverarbeitung I+II, Oldenbourg Schuhmann, Müller: Visualisierung Springer 2000

Wie lernt man CG? – Drei Zugänge Übersicht (Survey)  Vorlesung (alles erscheint einfach ... aber können Sie es umsetzen, eigene Lösungen finden?) Algorithmisch  Vorlesung Details, Details, Details, ... schnelles Vergessen garantiert! Programmieren, Aufgaben lösen  Übung „I do and I understand“

Leistungsschein? Mindestens 3 Testate (d.h. > 50% richtig gelöst) aus Ü1 – Ü5 Mindestens 2 Testate (lauffähige und korrekte Szenenbeschreibung resp. Programm) aus P1 – P3 Mindestens 2 Wiki-Beiträge im der CGpedia mit Testat ... das ist schon alles! aber Anmeldung erforderlich, siehe http://www.gdv.informatik.uni-frankfurt.de/index.php?m=2&sm=2 Sprechzeiten der Übungsgruppenleiter: nach der Übung vereinbaren!

Zu viel verlangt? Eine kleine Rechnung Im Bachelor-Studiengang erhalten Sie für diese Veranstaltung 6 CPs, d.h. es wird ein Bearbeitungsaufwand von durchschnittlich 6*30 Stunden = 180 Stunden zugrunde gelegt: Vorlesung (Vorbereitung, Teilnahme und Nachbereitung) 4h * 12 = 48 h. Readings: 3*4 h ... daraus Fragen in den Übungsblättern und Beiträge in der CGpedia (mindestens 2) = 12 h Übungen Teilnahme 12*2 Stunden = 24 h Lösen der Übungsaufgaben 5*4 Stunden = 20 h Lösen der Programmieraufgaben 3*16 Stunden = 48 h Zeitlicher Aufwand: Zwischensumme =152 h Prüfungsvorbereitung (Bachelor) = 28 h

Zwischenruf Früher war die Veranstaltung doch 4V+2Ü. Müssen wir das gleiche jetzt in 2V+2Ü machen? NEIN! Umfangreiche Teile wurden in andere Veranstaltungen verlagert, z.B. in Grundlagen der Digitalen Bildverarbeitung (DBV) in Human Computer Interface (HCI) und allgemein wurde die Veranstaltung entschlackt: Subjektive Bildwahrnehmung, Farbe, ... ABER: Der Umfang der Übungen bleibt gleich 2 SWS ... und wird intensiver; siehe: Wie lernt man CG? Einige neue Elemente: Readings CGpedia

Wo findet man uns? Varrentrappstraße Prof. Dr.-Ing. Detlef Krömker Robert-Mayer-Straße Varrentrappstraße Wo findet man uns? Prof. Dr.-Ing. Detlef Krömker Varrentrappstraße 40-42, 2. OG 60486 Frankfurt Tel. .: 49 (0)69 979 95-0140 Email: kroemker@cs.uni-frankfurt.de www: http://www.agc.fhg.de Sprechstunde: Dienstag 13 –15 Uhr nach Vereinbarung Sekr. Frau Goinar, Frau Quasten Johann Wolfgang Goethe-Universität Fachbereich Biologie und Informatik Graphische Datenverarbeitung Fraunhofer-Anwendungszentrum Computergraphik in Chemie und Pharmazie (AGC)

Fragen und (hoffentlich) Antworten

Ausblick ... am nächsten Donnerstag Das Digitale Bild ... und, danke für Ihre Aufmerksamkeit!