Multimedia und Virtual Reality Vorlesung am 12.05.1999 Martin Kurze (kurze@acm.org) Video (lat.: ich sehe)
(Visuelle) Wahrnehmung Bestimmende Faktoren: Umgebung (gibt es diese?) Stimuli (Reize), woher? wohin? Sensoren, Nerven, usw. Das Gehirn (der Forschung eher unzugänglich) Aber: beliebtes Betätigungsgebiet der Psychologie Das effektorische System Die Handlung als Ergebnis der Wahrnehmung 12.05.99
Optische Täuschungen Subjektive Konturen Müller-Lyer-Illusion Spirale des Archimedes 12.05.99
Spirale des Archimedes 12.05.99
Licht als „Medium“ ziemlich schnell Dualismus von Welle und Korpuskel (299)792,458 km/s im Vakuum) Dualismus von Welle und Korpuskel Wellennatur bewirkt Lichtbeugung Teilchennatur als Modell beim „Ray tracing“ 12.05.99
Spektrum elektromagnetischer Wellen 12.05.99
Das sichtbare Licht Das menschliche Auge ist besonders empfindlich für grün Umsetzung unssichtbaren Lichts in sichtbaren Bereich => „Falschfarben-Bild“ 12.05.99
Wir sehen kaum Licht (???) Reflexionen von Licht an Körpern nur ein Teil des Spektrums wird reflektiert Das hat Folgen für das Rendering ... und für die Bildschirmarbeit!! wird auch im Glasfaserkabel genutzt. 12.05.99
Lichtbrechung keine optische Täuschung! wird von Prismen genutzt ... und von Linsen (!!) 12.05.99
Seh-Sinn Licht (emittiertes und reflektiertes) fällt durch die Linse auf die Netzhaut. 12.05.99
Seh-Sinn (2) Die Netzhaut hat lichtempfindliche Zapfen und Stäbchen 120 Mio Stäbchen für Helligkeit 5 Mio Zapfen für Farben (3 verschiedene Sorten für 3 Frequenzbereiche) „scharfes Sehen“ nur am „gelben Fleck“ 12.05.99
etwas Psychologie des Sehens Warme Farben (z.B. rot oder gelb) wirken nahe kalte Farben (z.B. grün oder blau) wirken fern Pastelltöne wirken entspannt und entspannend gelb auf blau ist gut lesbar wirkt aber etwas aggressiv 12.05.99
RGB-Farbmodell als Würfel cyan white magenta blue gray line G yellow green R black red 12.05.99
Bild und Bedeutung Zeichen (sign) - Jedes physische Objekt, dem eine Gesellschaft eine Bedeutung zugewiesen hat Semiotik - Zeichenkunde Anzeiger (signifier) - physische Entität, die das Zeichen trägt/ausdrückt Bezeichnung (signified) - Konzept oder Gefühl, das von dem Zeichen transportiert wird Signification - Verknüpfung zwischen Ausdruck und Konzept (kulturell unterschiedlich!) 12.05.99
Alles eine Frage der Perspektive Illusions- Perspektive geometrische Perspektive konzeptionelle Perspektive 12.05.99
Video-Technik ... Film Video Animation Daumenkino 12.05.99
Multimedia und Virtual Reality Vorlesung am 12.05.1999 Martin Kurze (kurze@acm.org) Audio (lat.: ich höre)
Schallwellen Frequenz Amplitude Harmonie Anzahl der Schwingungen pro Sekunde bestimmt Tonhöhe Amplitude Intensität/Lautstärke eines gehörten Geräuschs Harmonie Schallwellen haben Frequenzen, die sich in bestimmten Verhältnissen unterscheiden 12.05.99
Harmonische Schwingung Ruhe Kompression „Unterdruck“ Wellen- bewegung 12.05.99
Harmonien von (Schall-)Wellen 12.05.99
Schallwellen Materie-Wellen 12.05.99
Fourier-Spektral-Analyse 12.05.99
Schall-Ausbreitung Reflexion - Schall wird von Oberflächen in verschiedene Richtungen zurückgeworfen direkter Sound - Schall wird ohne Reflexion gehört „early sound“ - Schall wird nach einer Reflexion gehört Echo - Schall wird nach vielen Reflexionen gehört 12.05.99
Schall-Ausbreitung (2) 12.05.99
Beugung Schall dringt durch Spalten, z.B. von offenen Türen Beugung ist frequenzabhängig 12.05.99
Doppler-Effekt Sich nähernde Geräuschquellen klingen höher Sich entfernende klingen tiefer Ursache: relative Wellenlängen/Frequenz-Verschiebungen wahrnehmbar ab ca. 30 km/h 12.05.99
Hören und Zuhören (hearing and listening) Hören - unbewußtes physisches Empfangen von Schall Zuhören - Schallwahrnehmung mit genauer Unterscheidung und Zuordnung. Man untersucht den Schall, seine eigene Erfahrung und Reaktion darauf einschließlich der emotionalen. „Cocktail-Party-Effekt“ 12.05.99
Eingeschränkte Wahrnehmung Man hört Frequenzen von ca. 20 bis 20.000 Hz Frequenzen über 16 kHz werden als Pfeifen wahrgenommen Frequenzumfang des Gehörs schrumpft im Alter 12.05.99
Dimensionen des Hörens Hörebenen - physisch, abstrakt Bedeutung - wird aus dem Verhältnis der verschiedenen Ebenen abgeleitet Lokalisierung - Fähigkeit den Ort einer Schallquelle festzustellen (Richtung und Entfernung) Identifikation - Fähigkeit Stimmen, Instrumente und andere Schallquellen zu erkennen 12.05.99
Schall als Datenmaterial Digitales Sampling Frequenz (z.B. 44,1 kHz bei CDs) Komprimierung z.B. MP3 für Musik „Codecs“ für verschiedene Quellen (Sprache, Musik) verschiedene Bandbreiten Symbolisch (MIDI, Sprachsynthese, ...) 12.05.99
Übungsaufgaben zu Audio/Video Suchen Sie im WWW nach Audio-Dateien Finden Sie Audio-Dateien zu folgenden Themen: Hubschrauber Türklappen (Stall, Zimmer, Enterprise) Bar-Gespräche,... Finden Sie eine MIDI-Datei, die sich als Loop im Hintergrund für bestimmte Stimmungen/Szenen eignet (Wald, Stadt, Disco, Uni, ...). Konvertieren Sie die Dateien ins wav- und MPEG-Format. 12.05.99