Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Computer graphics & visualization. Adaptive Music & Real-Time Sound Synthesis Dominik Steger Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik.

Ähnliche Präsentationen


Präsentation zum Thema: "Computer graphics & visualization. Adaptive Music & Real-Time Sound Synthesis Dominik Steger Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik."—  Präsentation transkript:

1 computer graphics & visualization

2 Adaptive Music & Real-Time Sound Synthesis Dominik Steger Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik Definition Vorgehensweise: Music Design Document Grenzen der Adaptive Music Adaptive Audio Technology The Music System Music System und Game Engine Beispiel: nicht Spielwelt

3 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Ausdruckskraft von Musik Vermittelt Inhalt auf emotionaler und unbewusster Ebene Kann Spannung erzeugen oder beseitigen Assoziation bestimmter Musik mit Charakteren Vorgriff möglich Ausdruckskraft, Feinsinn, Tiefe

4 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Definition- Adaptive Music Wann und wie welche Ereignisse Ausführungszeitraum Auswahl von Eingabeparametern generiert Variationen von umgebenden Interaktionen gesteuert Adaptive Music System: Spezifikation der Ereignisse Handlungsvorschrift Kleine Variationen der Eingabe große Auswirkungen auf Musik Soll klingen als wäre es linear komponiert große Unterschiede in individuellen Ausdrucksformen

5 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Das Music Design Document Zusammenarbeit zwischen Komponist und Game Designer Eigenschaften des Komponisten: Hat stilistische Ideen und Techniken Erkennt wie, wann und wo und warum Musik Sinn hat Fokus auf Vision des Game Designers feedback loop möglich kreative Vision wird zur technischen Lösung

6 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Das Music Design Document Aufkommende Fragen: Welche Teile des Spiels sollten Musik enthalten? Welcher Musikstil ist am besten für das Spiel? Wann soll die Musik im Hintergrund, wann intensiv sein? Wie sollen die Übergänge der Musik sein? Sind character themes angemessen?

7 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technologies Adaptive Audio = Ton und Musik reagieren auf Gameplay Noch immer relativ frühe Phase der Entwicklung Vor Auswahl des Music Systems, bestimmen der zu verwendenden Techniken

8 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Grenzen von Adaptive Music Spektrum von Musik die linear und pre-rendered ist bis Musik, die vollständig game-rendered ist Welche Technik verwendet wird hängt ab von: Dem Spiel selbst Entscheidungen des Komponisten und des Game Designers

9 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Vergleich Wave-MIDI Wave-files: lineare Eigenschaft Alle Instrumente, Tools und Techniken möglich in Wavedatei aufzunehmen hohe Produktionswerte Zerlegung in wavelets höhere Anpassungsfähigkeit MIDI-files: Note als manipulierbares Datenteil Geschwindigkeit, Harmonie und Instrumentation schnell änderbar Anpassungsfähiger als wave-files leichte Übergänge Plattformabhängige custom instrument banks Bei guter Anwendung derzeit dynamischste Musikerlebnis Kombination möglich

10 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technologies No One Lives Forever 2 Jeder Zustand der Musik wurde in individuelle wave –files der Maßlänge 1 bis 4 eingeteilt, zu Beginn einer Datei: transition point => Übergang in anderen Zustand möglich, Dateien überlappen oder sind aufeinander abgestimmt

11 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technologies Mark of Kri Verwendung von custom instrument banks und MIDI-files

12 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technologies Koordinierung und Synchronisation von music cues music cues geschichtet oder sequentiell Einsatzzeitpunkt essentiell Starten einer music cue nur zu bestimmten rhythmischen Grenzen Vermeidung von Kollision

13 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technologies Übergänge zwischen music cues Festhalten am Gameplay abhängig von Spielszenario: Stille cross-fade direkte Verbindung eine extra cue zur Überlappung music system muss immer bereit sein

14 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Übergangstechniken cue-to-cue transission: Aktuelle cue spielt bis zu einer Grenze, dann Beginn der Nächsten sehr einfach, kann abrupt wirken Layering: Vergrößerung/Verkleinerung der Anzahl an Instrumenten Kontinuität, jedoch keine schnellen Übergänge Übergangsmatrix: Übergänge zwischen beliebigen Paaren von music cues der Matrix möglich gut für spezielle Situationen

15 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technology Harmonic System: Ändern der Tonart einer music cue in Echtzeit durch game engine Variation, Stimmungswechsel Verfolgung der harmonischen Änderungen einer music cue Neue cues können in Harmonie zur aktuellen beginnen

16 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technology Run-time mixing and effects: Verändern der Lautstärke Wechsel zwischen Instrumenten Hall, Verzögerung sollten vom music system kontrolliert werden

17 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Adaptive Audio Technology Musical variation: Game engine ruft music cue auf Music system wählt ein zufälliges wave-file Jedes Instrument hat mehrere mögliche parts ein part wird wahllos ausgewählt replay value

18 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Music System and Engine Entwicklung von eigenen interactive music engines Zusammenarbeit mit Komponisten hilfreich Verfügbare Engines: Direct Music, Miles Sound Sytem Mühsames einarbeiten notwendig Adaptive Audio Technology im Entstehen Keine stimmige Programmiersprache Unternehmen wie Sony, Electronic Arts, LucasArts besitzen eigene Engines und Technologien

19 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Music System und Game Engine Zusammenarbeit zw. Game Engine und Music Engine Effektivität Game Engine: Anweisungen an Music System Music System: Übermittelung des eigenen Status Game Engine ändert die Musik durch: Location based triggers Game-state triggers NPC AI triggers Player charachter triggers Event triggers Kombination möglich

20 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Beispiel – nicht aus der Spielwelt Mozarts musikalisches Würfelspiel: Tisch mit verschiedene Versionen Würfel wird geworfen riesige Anzahl an Variationen

21 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Inhaltsverzeichnis: Real-Time Sound Synthesis Begriffsklärung Anforderungen Spring-Mass System Spring-Mass System`s Equation of Motion Vibration Mode Mode Compression Quality Scaling Beispiele

22 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Begriffsklärung Pro: einfach und schnell Contra: mühsame Aufnahme Interaktion mit Umgebung in einer Szene Anwendung der Physik Simulation der Entstehung von sounds Verfolgung der Ausbreitung von Schallwellen + Oberflächenvibration Bisher üblich: Recorded Soundclips:

23 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Anforderungen Abhängig davon, wie Objekte kollidieren und wo der Aufprall stattfindet Abhängig von Eigenschaften der Materialien, der Geometrie der Objekte Automatisches Abfangen kleiner Änderungen von Tönen und Klangfarben Anforderungen an Physically based Sound Synthesis: 1.Physics Engine: Sound system muss über Kollisionsgeometrie informiert werden 2.Hohe Rechenleistung

24 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Entstehung von Sounds Schallwellen prallen auf Oberflächen Vibrationen Modellierung dieser Vibrationen: Direkte Anwendung der Bewegungslehre diskrete Annäherungen an die Geometrie eines Objekts

25 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Spring-Mass System Diskretisierung eines Objekts Eingabe: Netzt bestehend aus Eckpunkten und verbindenden Kanten Die Eckpunkte des Netzes werden durch Punktmassen die Kanten durch gedämpfte Federn ersetzt Durch Anwendung der klassischen Bewegungslehre erhält man eine Gleichung:

26 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Spring-Mass System`s Equation of Motion: M= diagonale Matrix der Masse, Einträge: Punktmassen; K = symmetrische Matrix; federartigen Verbindungen zwischen den Teilchen; y= Flüssigkeitskonstante n= viskoelastische Konstante r = Abstandsvektor zwischen den Teilchen f = extern einwirkende Kraft

27 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Spring-Mass System`s Equation of Motion: Konstante der Schwingungsdämpfung, der Feder und die Teilchenmasse materialabhängig charakteristischer Klang verschiedener Materialien M, K: Kodierung der Geometrie des Objekts Bestimmung der Klangfarbe Diagonalisieren der Matrix K Lösungsweg wird vereinfacht Zerlegung in Vibrationsmodi repräsentierende Gleichungssysteme

28 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Vibration Mode Sounds eines Objekts = Mischung der Vibrationmodi zu bestimmten Anteilen Diagonalisierung wird offline berechnet Zur Laufzeit müssen nur die Anteile bestimmt werden Abhängig von Kollisionsimpulsen und Position des Aufpralls

29 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Vibration Mode

30 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Vibration Mode Naiver Ansatz: Mischung aller Vibrationmodi zu passenden Anteilen Objekt mit ein paar tausend Eckpunkten = ein paar tausend Vibrationsmodi Probleme bei der Ausführung (Knack- und Klickgeräusche) Anzahl der Vibrationsmodi verringern Ausschöpfen der menschlichen auditiven Wahrnehmung

31 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Mode Compression Studie: nahe beieinander liegen Frequenzen können vom Menschen nicht unterschieden werden Zusammenfassung mehrerer Frequenzen, die nahe beieinanderliegen Erhöhung der Effizienz bei der Synthese der Sounds eines Objekts

32 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Quality Scaling Anzahl der Objekte zu groß => Mode Compression nicht ausreichend Wichtiger für Gameplay: Variation der Qualität in bestimmten zeitlichen Rahmen Idee: Aufmerksamkeit auf Objekten aus dem Vordergrund Skalierung der Soundqualität der Objekte Zuordnung von Zeitquoten Kontrollieren der Anzahl an zu mischenden Vibrationsmodi und der Lautstärke Objekte im Vordergrund -> hohe Qualität

33 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Beispiel: Position Dependent Sounds

34 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Zu den Beispielen Xylophon: Produktion der Töne mit mehr als 500 FPS Generierung der Sounds benötigt 10% der CPU, bei einem 3.4GHz Pentium-4 Laptop mit 1GB RAM Ringe: Mehr als 100 Ringe fallen auf Holztisch Audio Simulation mit mehr als 200 FPS Application Frame Rate 100 FPS

35 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Audio Simulation: Ringszene

36 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Beispiel: Theater

37 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Ausbreitug der Schallwellen 2 GHz Laptop Bis zu 4 Reflektionen Mehr als Strahlen werden 2 Mal die Sekunde gesendet

38 computer graphics & visualization Adaptive Music & Real-Time Sound Synthesis Dominik Steger Vielen Dank für eure Aufmerksamkeit!


Herunterladen ppt "Computer graphics & visualization. Adaptive Music & Real-Time Sound Synthesis Dominik Steger Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik."

Ähnliche Präsentationen


Google-Anzeigen