Adaptive Music & Real-Time Sound Synthesis

Präsentation zum Thema: "Adaptive Music & Real-Time Sound Synthesis"—  Präsentation transkript:

1 Adaptive Music & Real-Time Sound Synthesis

2 Inhahltsverzeichnis: Adaptive Music
Ausdruckskraft von Musik Definition Vorgehensweise: Music Design Document Grenzen der Adaptive Music Adaptive Audio Technology The Music System Music System und Game Engine Beispiel: nicht Spielwelt

3 Ausdruckskraft von Musik
Vermittelt Inhalt auf emotionaler und unbewusster Ebene Kann Spannung erzeugen oder beseitigen Assoziation bestimmter Musik mit Charakteren Vorgriff möglich Ausdruckskraft, Feinsinn, Tiefe Film (linear) - Spiel (Verfolgung durch code); Spiele – Musik logik, Spiel: wann wie welche Ereignisse->Ausführungszeitraum

4 Definition- Adaptive Music
Wann und wie welche Ereignisse Ausführungszeitraum Auswahl von Eingabeparametern generiert Variationen von umgebenden Interaktionen gesteuert Adaptive Music System: Spezifikation der Ereignisse „Handlungsvorschrift“ Kleine Variationen der Eingabe große Auswirkungen auf Musik Soll klingen als wäre es linear komponiert große Unterschiede in individuellen Ausdrucksformen Gleiche Eingabe –gleiche Ausgabe, stimmige Hintergrundmusik, Notenspiegel=1 repräsentative Form – im Spiel: indiv. Ausdrucksf. (Design)

5 Das Music Design Document
Zusammenarbeit zwischen Komponist und Game Designer Eigenschaften des Komponisten: Hat stilistische Ideen und Techniken Erkennt wie, wann und wo und warum Musik Sinn hat Fokus auf Vision des Game Designers „feedback loop“ möglich kreative Vision wird zur technischen Lösung Von Anfang an;

6 Das Music Design Document
Aufkommende Fragen: Welche Teile des Spiels sollten Musik enthalten? Welcher Musikstil ist am besten für das Spiel? Wann soll die Musik im Hintergrund, wann intensiv sein? Wie sollen die Übergänge der Musik sein? Sind “character themes“ angemessen? Gibt noch mehr fragen…

7 Adaptive Audio Technologies
= Ton und Musik reagieren auf Gameplay Noch immer relativ frühe Phase der Entwicklung Vor Auswahl des Music Systems, bestimmen der zu verwendenden Techniken

8 Grenzen von Adaptive Music
Spektrum von Musik die linear und pre-rendered ist bis Musik, die vollständig game-rendered ist Welche Technik verwendet wird hängt ab von: Dem Spiel selbst Entscheidungen des Komponisten und des Game Designers Vorher: Interactive- Adaptive;

9 Vergleich Wave-MIDI Wave-files: MIDI-files: lineare Eigenschaft
Alle Instrumente, Tools und Techniken möglich in Wavedatei aufzunehmen hohe Produktionswerte Zerlegung in “wavelets“ höhere Anpassungsfähigkeit MIDI-files: Note als manipulierbares Datenteil Geschwindigkeit, Harmonie und Instrumentation schnell änderbar Anpassungsfähiger als wave-files leichte Übergänge Plattformabhängige “custom instrument banks“ Bei guter Anwendung derzeit dynamischste Musikerlebnis Kombination möglich

10 Adaptive Audio Technologies
No One Lives Forever 2 Jeder Zustand der Musik wurde in individuelle wave –files der Maßlänge 1 bis 4 eingeteilt, zu Beginn einer Datei: transition point => Übergang in anderen Zustand möglich, Dateien überlappen oder sind aufeinander abgestimmt

11 Adaptive Audio Technologies
Mark of Kri Verwendung von custom instrument banks und MIDI-files

12 Adaptive Audio Technologies
Koordinierung und Synchronisation von “music cues“ music cues geschichtet oder sequentiell Einsatzzeitpunkt essentiell Starten einer music cue nur zu bestimmten rhythmischen Grenzen Vermeidung von Kollision Music cue=> Art library in denen Tracks sind…

13 Adaptive Audio Technologies
Übergänge zwischen music cues Festhalten am Gameplay abhängig von Spielszenario: Stille cross-fade direkte Verbindung eine extra cue zur Überlappung music system muss immer bereit sein Spiel nur die ersten beiden=> schlecht,constantly fading music in and out

14 Übergangstechniken cue-to-cue transission:
Aktuelle cue spielt bis zu einer Grenze, dann Beginn der Nächsten sehr einfach, kann abrupt wirken Layering: Vergrößerung/Verkleinerung der Anzahl an Instrumenten Kontinuität, jedoch keine schnellen Übergänge Übergangsmatrix: Übergänge zwischen beliebigen Paaren von music cues der Matrix möglich gut für spezielle Situationen 1. Aufruf einer cue->… 3. Zusammenarbeit mit Komponisten- mühsam!

15 Adaptive Audio Technology
Harmonic System: Ändern der Tonart einer music cue in Echtzeit durch game engine Variation, Stimmungswechsel Verfolgung der harmonischen Änderungen einer music cue Neue cues können in Harmonie zur aktuellen beginnen

16 Adaptive Audio Technology
Run-time mixing and effects: Verändern der Lautstärke Wechsel zwischen Instrumenten Hall, Verzögerung sollten vom music system kontrolliert werden z.B. Verzögerung einer Drum-Spur => anderes rythmisches Gefühl

17 Adaptive Audio Technology
Musical variation: Game engine ruft music cue auf Music system wählt ein zufälliges wave-file Jedes Instrument hat mehrere mögliche parts ein part wird wahllos ausgewählt “replay value“

18 Music System and Engine
Entwicklung von eigenen “interactive music engines“ Zusammenarbeit mit Komponisten hilfreich Verfügbare Engines: Direct Music, Miles Sound Sytem Mühsames einarbeiten notwendig Adaptive Audio Technology im Entstehen Keine stimmige Programmiersprache Unternehmen wie Sony, Electronic Arts, LucasArts besitzen eigene Engines und Technologien

19 Music System und Game Engine
Zusammenarbeit zw. Game Engine und Music Engine Effektivität Game Engine: Anweisungen an Music System Music System: Übermittelung des eigenen Status Game Engine ändert die Musik durch: Location based triggers Game-state triggers NPC AI triggers Player charachter triggers Event triggers Kombination möglich

20 Beispiel – nicht aus der Spielwelt
Mozarts musikalisches Würfelspiel: Tisch mit verschiedene Versionen Würfel wird geworfen riesige Anzahl an Variationen

21 Inhaltsverzeichnis: Real-Time Sound Synthesis
Begriffsklärung Anforderungen Spring-Mass System Spring-Mass System`s Equation of Motion Vibration Mode Mode Compression Quality Scaling Beispiele

22 Begriffsklärung Anwendung der Physik Simulation der Entstehung von sounds Verfolgung der Ausbreitung von Schallwellen + Oberflächenvibration Bisher üblich: „Recorded Soundclips“: Pro: einfach und schnell Contra: mühsame Aufnahme Interaktion mit Umgebung in einer Szene Werden durch Events ausgelöst; Reflektionen in einer Szene durch Wiederholung; nur Annäherung an Wirklichkeit möglich; Kaum Einwirkung der Umgebung

23 Anforderungen Abhängig davon, wie Objekte kollidieren und wo der Aufprall stattfindet Abhängig von Eigenschaften der Materialien, der Geometrie der Objekte Automatisches Abfangen kleiner Änderungen von Tönen und Klangfarben Anforderungen an Physically based Sound Synthesis: Physics Engine: Sound system muss über Kollisionsgeometrie informiert werden Hohe Rechenleistung

24 Entstehung von Sounds Schallwellen prallen auf Oberflächen Vibrationen
Modellierung dieser Vibrationen: Direkte Anwendung der Bewegungslehre diskrete Annäherungen an die Geometrie eines Objekts Frustum-tracing, mathematische Analyse möglich

25 Spring-Mass System Diskretisierung eines Objekts
Eingabe: Netzt bestehend aus Eckpunkten und verbindenden Kanten Die Eckpunkte des Netzes werden durch Punktmassen die Kanten durch gedämpfte Federn ersetzt Durch Anwendung der klassischen Bewegungslehre erhält man eine Gleichung:

26 Spring-Mass System`s Equation of Motion:
M= diagonale Matrix der Masse, Einträge: Punktmassen; K = symmetrische Matrix; federartigen Verbindungen zwischen den Teilchen; y= Flüssigkeitskonstante n= viskoelastische Konstante r = Abstandsvektor zwischen den Teilchen f = extern einwirkende Kraft Objekte sind homogen, gekoppeltes lin. System, Summanden: Trägheit, Dämpfungsrate, Elastizität

27 Spring-Mass System`s Equation of Motion:
Konstante der Schwingungsdämpfung, der Feder und die Teilchenmasse materialabhängig charakteristischer Klang verschiedener Materialien M, K: Kodierung der Geometrie des Objekts Bestimmung der Klangfarbe Diagonalisieren der Matrix K Lösungsweg wird vereinfacht Zerlegung in Vibrationsmodi repräsentierende Gleichungssysteme

28 Vibration Mode Sounds eines Objekts = Mischung der Vibrationmodi zu bestimmten Anteilen „Diagonalisierung“ wird offline berechnet Zur Laufzeit müssen „nur“ die Anteile bestimmt werden Abhängig von Kollisionsimpulsen und Position des Aufpralls

29 Vibration Mode

30 Vibration Mode Naiver Ansatz: Mischung aller Vibrationmodi zu passenden Anteilen Objekt mit ein paar tausend Eckpunkten = ein paar tausend Vibrationsmodi Probleme bei der Ausführung (Knack- und Klickgeräusche) Anzahl der Vibrationsmodi verringern Ausschöpfen der menschlichen auditiven Wahrnehmung

31 Mode Compression Studie: nahe beieinander liegen Frequenzen können vom Menschen nicht unterschieden werden Zusammenfassung mehrerer Frequenzen, die nahe beieinanderliegen Erhöhung der Effizienz bei der Synthese der Sounds eines Objekts

32 Quality Scaling Anzahl der Objekte zu groß
=> Mode Compression nicht ausreichend Wichtiger für Gameplay: Variation der Qualität in bestimmten zeitlichen Rahmen Idee: Aufmerksamkeit auf Objekten aus dem Vordergrund Skalierung der Soundqualität der Objekte Zuordnung von Zeitquoten Kontrollieren der Anzahl an zu mischenden Vibrationsmodi und der Lautstärke Objekte im Vordergrund -> hohe Qualität Kontrollieren der Anzahl zu mischender vibrationsmodi +der lautstärke nach anwendungvon Mode Compressionund Quality Scaling

33 Beispiel: Position Dependent Sounds

34 Zu den Beispielen Xylophon: Produktion der Töne mit mehr als 500 FPS
Generierung der Sounds benötigt 10% der CPU, bei einem 3.4GHz Pentium-4 Laptop mit 1GB RAM Ringe: Mehr als 100 Ringe fallen auf Holztisch Audio Simulation mit mehr als 200 FPS Application Frame Rate 100 FPS

35 Audio Simulation: Ringszene

36 Beispiel: Theater

37 Ausbreitug der Schallwellen
2 GHz Laptop Bis zu 4 Reflektionen Mehr als 95000 Strahlen werden 2 Mal die Sekunde gesendet

38 Vielen Dank für eure Aufmerksamkeit!