Adaptive Music & Real-Time Sound Synthesis

Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik Definition Vorgehensweise: Music Design Document Grenzen der Adaptive Music Adaptive Audio Technology The Music System Music System und Game Engine Beispiel: nicht Spielwelt

Ausdruckskraft von Musik Vermittelt Inhalt auf emotionaler und unbewusster Ebene Kann Spannung erzeugen oder beseitigen Assoziation bestimmter Musik mit Charakteren Vorgriff möglich Ausdruckskraft, Feinsinn, Tiefe Film (linear) - Spiel (Verfolgung durch code); Spiele – Musik logik, Spiel: wann wie welche Ereignisse->Ausführungszeitraum

Definition- Adaptive Music Wann und wie welche Ereignisse Ausführungszeitraum Auswahl von Eingabeparametern generiert Variationen von umgebenden Interaktionen gesteuert Adaptive Music System: Spezifikation der Ereignisse „Handlungsvorschrift“ Kleine Variationen der Eingabe große Auswirkungen auf Musik Soll klingen als wäre es linear komponiert große Unterschiede in individuellen Ausdrucksformen Gleiche Eingabe –gleiche Ausgabe, stimmige Hintergrundmusik, Notenspiegel=1 repräsentative Form – im Spiel: indiv. Ausdrucksf. (Design)

Das Music Design Document Zusammenarbeit zwischen Komponist und Game Designer Eigenschaften des Komponisten: Hat stilistische Ideen und Techniken Erkennt wie, wann und wo und warum Musik Sinn hat Fokus auf Vision des Game Designers „feedback loop“ möglich kreative Vision wird zur technischen Lösung Von Anfang an;

Das Music Design Document Aufkommende Fragen: Welche Teile des Spiels sollten Musik enthalten? Welcher Musikstil ist am besten für das Spiel? Wann soll die Musik im Hintergrund, wann intensiv sein? Wie sollen die Übergänge der Musik sein? Sind “character themes“ angemessen? Gibt noch mehr fragen…

Adaptive Audio Technologies = Ton und Musik reagieren auf Gameplay Noch immer relativ frühe Phase der Entwicklung Vor Auswahl des Music Systems, bestimmen der zu verwendenden Techniken

Grenzen von Adaptive Music Spektrum von Musik die linear und pre-rendered ist bis Musik, die vollständig game-rendered ist Welche Technik verwendet wird hängt ab von: Dem Spiel selbst Entscheidungen des Komponisten und des Game Designers Vorher: Interactive- Adaptive;

Vergleich Wave-MIDI Wave-files: MIDI-files: lineare Eigenschaft Alle Instrumente, Tools und Techniken möglich in Wavedatei aufzunehmen hohe Produktionswerte Zerlegung in “wavelets“ höhere Anpassungsfähigkeit MIDI-files: Note als manipulierbares Datenteil Geschwindigkeit, Harmonie und Instrumentation schnell änderbar Anpassungsfähiger als wave-files leichte Übergänge Plattformabhängige “custom instrument banks“ Bei guter Anwendung derzeit dynamischste Musikerlebnis Kombination möglich

Adaptive Audio Technologies No One Lives Forever 2 Jeder Zustand der Musik wurde in individuelle wave –files der Maßlänge 1 bis 4 eingeteilt, zu Beginn einer Datei: transition point => Übergang in anderen Zustand möglich, Dateien überlappen oder sind aufeinander abgestimmt

Adaptive Audio Technologies Mark of Kri Verwendung von custom instrument banks und MIDI-files

Adaptive Audio Technologies Koordinierung und Synchronisation von “music cues“ music cues geschichtet oder sequentiell Einsatzzeitpunkt essentiell Starten einer music cue nur zu bestimmten rhythmischen Grenzen Vermeidung von Kollision Music cue=> Art library in denen Tracks sind…

Adaptive Audio Technologies Übergänge zwischen music cues Festhalten am Gameplay abhängig von Spielszenario: Stille cross-fade direkte Verbindung eine extra cue zur Überlappung music system muss immer bereit sein Spiel nur die ersten beiden=> schlecht,constantly fading music in and out

Übergangstechniken cue-to-cue transission: Aktuelle cue spielt bis zu einer Grenze, dann Beginn der Nächsten sehr einfach, kann abrupt wirken Layering: Vergrößerung/Verkleinerung der Anzahl an Instrumenten Kontinuität, jedoch keine schnellen Übergänge Übergangsmatrix: Übergänge zwischen beliebigen Paaren von music cues der Matrix möglich gut für spezielle Situationen 1. Aufruf einer cue->… 3. Zusammenarbeit mit Komponisten- mühsam!

Adaptive Audio Technology Harmonic System: Ändern der Tonart einer music cue in Echtzeit durch game engine Variation, Stimmungswechsel Verfolgung der harmonischen Änderungen einer music cue Neue cues können in Harmonie zur aktuellen beginnen

Adaptive Audio Technology Run-time mixing and effects: Verändern der Lautstärke Wechsel zwischen Instrumenten Hall, Verzögerung sollten vom music system kontrolliert werden z.B. Verzögerung einer Drum-Spur => anderes rythmisches Gefühl

Adaptive Audio Technology Musical variation: Game engine ruft music cue auf Music system wählt ein zufälliges wave-file Jedes Instrument hat mehrere mögliche parts ein part wird wahllos ausgewählt “replay value“

Music System and Engine Entwicklung von eigenen “interactive music engines“ Zusammenarbeit mit Komponisten hilfreich Verfügbare Engines: Direct Music, Miles Sound Sytem Mühsames einarbeiten notwendig Adaptive Audio Technology im Entstehen Keine stimmige Programmiersprache Unternehmen wie Sony, Electronic Arts, LucasArts besitzen eigene Engines und Technologien

Music System und Game Engine Zusammenarbeit zw. Game Engine und Music Engine Effektivität Game Engine: Anweisungen an Music System Music System: Übermittelung des eigenen Status Game Engine ändert die Musik durch: Location based triggers Game-state triggers NPC AI triggers Player charachter triggers Event triggers Kombination möglich

Beispiel – nicht aus der Spielwelt Mozarts musikalisches Würfelspiel: Tisch mit verschiedene Versionen Würfel wird geworfen riesige Anzahl an Variationen

Inhaltsverzeichnis: Real-Time Sound Synthesis Begriffsklärung Anforderungen Spring-Mass System Spring-Mass System`s Equation of Motion Vibration Mode Mode Compression Quality Scaling Beispiele

Begriffsklärung Anwendung der Physik Simulation der Entstehung von sounds Verfolgung der Ausbreitung von Schallwellen + Oberflächenvibration Bisher üblich: „Recorded Soundclips“: Pro: einfach und schnell Contra: mühsame Aufnahme Interaktion mit Umgebung in einer Szene Werden durch Events ausgelöst; Reflektionen in einer Szene durch Wiederholung; nur Annäherung an Wirklichkeit möglich; Kaum Einwirkung der Umgebung

Anforderungen Abhängig davon, wie Objekte kollidieren und wo der Aufprall stattfindet Abhängig von Eigenschaften der Materialien, der Geometrie der Objekte Automatisches Abfangen kleiner Änderungen von Tönen und Klangfarben Anforderungen an Physically based Sound Synthesis: Physics Engine: Sound system muss über Kollisionsgeometrie informiert werden Hohe Rechenleistung

Entstehung von Sounds Schallwellen prallen auf Oberflächen Vibrationen Modellierung dieser Vibrationen: Direkte Anwendung der Bewegungslehre diskrete Annäherungen an die Geometrie eines Objekts Frustum-tracing, mathematische Analyse möglich

Spring-Mass System Diskretisierung eines Objekts Eingabe: Netzt bestehend aus Eckpunkten und verbindenden Kanten Die Eckpunkte des Netzes werden durch Punktmassen die Kanten durch gedämpfte Federn ersetzt Durch Anwendung der klassischen Bewegungslehre erhält man eine Gleichung:

Spring-Mass System`s Equation of Motion: M= diagonale Matrix der Masse, Einträge: Punktmassen; K = symmetrische Matrix; federartigen Verbindungen zwischen den Teilchen; y= Flüssigkeitskonstante n= viskoelastische Konstante r = Abstandsvektor zwischen den Teilchen f = extern einwirkende Kraft Objekte sind homogen, gekoppeltes lin. System, Summanden: Trägheit, Dämpfungsrate, Elastizität

Spring-Mass System`s Equation of Motion: Konstante der Schwingungsdämpfung, der Feder und die Teilchenmasse materialabhängig charakteristischer Klang verschiedener Materialien M, K: Kodierung der Geometrie des Objekts Bestimmung der Klangfarbe Diagonalisieren der Matrix K Lösungsweg wird vereinfacht Zerlegung in Vibrationsmodi repräsentierende Gleichungssysteme

Vibration Mode Sounds eines Objekts = Mischung der Vibrationmodi zu bestimmten Anteilen „Diagonalisierung“ wird offline berechnet Zur Laufzeit müssen „nur“ die Anteile bestimmt werden Abhängig von Kollisionsimpulsen und Position des Aufpralls

Vibration Mode

Vibration Mode Naiver Ansatz: Mischung aller Vibrationmodi zu passenden Anteilen Objekt mit ein paar tausend Eckpunkten = ein paar tausend Vibrationsmodi Probleme bei der Ausführung (Knack- und Klickgeräusche) Anzahl der Vibrationsmodi verringern Ausschöpfen der menschlichen auditiven Wahrnehmung

Mode Compression Studie: nahe beieinander liegen Frequenzen können vom Menschen nicht unterschieden werden Zusammenfassung mehrerer Frequenzen, die nahe beieinanderliegen Erhöhung der Effizienz bei der Synthese der Sounds eines Objekts

Quality Scaling Anzahl der Objekte zu groß => Mode Compression nicht ausreichend Wichtiger für Gameplay: Variation der Qualität in bestimmten zeitlichen Rahmen Idee: Aufmerksamkeit auf Objekten aus dem Vordergrund Skalierung der Soundqualität der Objekte Zuordnung von Zeitquoten Kontrollieren der Anzahl an zu mischenden Vibrationsmodi und der Lautstärke Objekte im Vordergrund -> hohe Qualität Kontrollieren der Anzahl zu mischender vibrationsmodi +der lautstärke nach anwendungvon Mode Compressionund Quality Scaling

Beispiel: Position Dependent Sounds

Zu den Beispielen Xylophon: Produktion der Töne mit mehr als 500 FPS Generierung der Sounds benötigt 10% der CPU, bei einem 3.4GHz Pentium-4 Laptop mit 1GB RAM Ringe: Mehr als 100 Ringe fallen auf Holztisch Audio Simulation mit mehr als 200 FPS Application Frame Rate 100 FPS

Audio Simulation: Ringszene

Beispiel: Theater

Ausbreitug der Schallwellen 2 GHz Laptop Bis zu 4 Reflektionen Mehr als 95000 Strahlen werden 2 Mal die Sekunde gesendet

Vielen Dank für eure Aufmerksamkeit!