SOFTWARE ENTWICKLUNG STX Ein Softwarepaket zum  Verwalten

Präsentation zum Thema: "SOFTWARE ENTWICKLUNG STX Ein Softwarepaket zum  Verwalten"—  Präsentation transkript:

1 SOFTWARE ENTWICKLUNG STX Ein Softwarepaket zum  Verwalten
 Analysieren und  Annotieren von Schallsignalen Entwickelt am Institut für Schallforschung der Österreichischen Akademie der Wissenschaften Die Software ist auf unserer Homepage verfügbar

2 Analyse Annotierung Signalanalyse, Segmentierung und Annotierung
Benutzerdefinierte Analyseprofile Parallele graphische Darstellung von Wellenform, Spektrogramm (FFT, LPC, Wavelet, ...) und Parameterverläufen (rms, f0, Formanten, …) Annotierungen mit Attributvorlagen lokales Detailspektrum (Sektion) Analyse Annotierung Echtzeitanalyse Analyse und graphische Darstellung von Signalen in Echtzeit

3 Schnitt- stellen Input Output Verwaltung Verwaltung von Signalen
und Einstellungen Workspace - Sammelstelle für Programmeinstellungen und Projektdateien. Hier erfolgt die Auswahl von Signalen, Verarbeitungsprofilen und Benutzerscripts. TCP/IP DCOM (z.B.: ↔ R) DDE (z.B.: ↔ Excel) Clipboard Schnitt- stellen Wave-In Wave-Out Dateien: Wave, XML, Text etc. Recorder Aufnahme von Signalen mit Signalaussteuerung und Tagging. Input Output Verwaltung

4 Entwicklung Anwendungs- programmierung
Kommandozeile Entwicklungsumgebung Ausführung von Scriptbefehlen für die interaktive Entwicklung von Scripts. Debuggingumgebung Interaktives Debugging von Scripts mit Breakpoints, Funktionsstack, Umgebungsinspektor etc. Entwicklung Anwendungs- programmierung

5 Spektrogramme – Zeit-Frequenz Signaldarstellungen
Vergleich verschiedener Spektrogramme des Sprachsignals „kreidebleich“ Spektrogramm = Signalamplitude als Funktion von Zeit und Frequenz = Zeit-Frequenz Darstellung Kurzzeit-Fouriertransformation (STFT) Konstante, frequenzunabhängige Zeit- und Frequenzauflösung konstante Bandbreite Wavelet-Transformation (Typ: Morlet) Hohe Frequenzauflösung bei niedrigen Frequenzen Hohe Zeitauflösung bei hohen Frequenzen konstantes Verhältnis von Bandbreite zu Mittenfrequenz Frequenz  Frequenz  Zeit  Zeit 

6 Sprachanalyse – Spektrogramm und Sprachparameter
Berechnung und Darstellung von Sprachsignalen und grundlegenden Sprachparametern Segmentmarkierung Zeitbereich und Metadaten (z.B. Transkription) Spektrogramm Zeit-Frequenz Analyse = Schalldruck als Funktion von Zeit und Frequenz Formantfrequenzen Resonanzen des Vokaltrakts Grundfrequenz (f0) Tonhöhenverlauf (Prosodie) Wellenform zeitlicher Verlauf des Schalldruckes Die berechneten Parameter können graphisch editiert (korrigiert), zur weiterverarbeitung im Workspace gespeichert und / oder exportiert werden.

7 (mongolischer Obertongesang)
MULAC – Frame-Multiplier in Acoucstics Framework für die Entwicklung, Testung und Anwendung von Frame-Multipliern (siehe Projekt „MulAc“) Original (mongolischer Obertongesang) Modifikationsmatrix („Maske“) Modifiziertes Signal x = Frequenz [kHz] Zeit [s] Zeit [s] Zeit [s] Adaptives Kammfilter Die Definition von Modifikationen (Masken) erfolgt durch die graphische Auswahl des Zeit-Frequenz-Ausschnitts (Polygon) und die Angabe von Methode und Parametern. Die Erzeugung der Masken kann signalgetrieben (adaptiv) oder signalunabhängig erfolgen. Auslöschung (0-setzen der Amplitude) Analyse und Resynthese erfolgen derzeit mittels Gaborframes. Andere Methoden mit variabler Zeit / Frequenz-Auflösung (z.B. basierend auf Wavelets) sind geplant. Irrelevanzfilter (Übermaskierung) Schwarz = 1 = keine Änderung Weiss = 0 = Auslöschung

8 SPExL – Graphisch / Akustisch unterstützte Transkription
Benutzerfreundliches, rasches Segmentieren, Transkribieren und Annotieren umfangreicher Tondokumente Anwendungen vor allem in der Phonetik, Phonologie und Forensik Wellenform + Segmentmarkierung Spektrogramm + Transkription + (optional) f0, Formanten; schnelles Umschalten zwischen Schmal- und Breitbandanalyse möglich - Userinterface optimiert für Tastatureingabe (d.h. möglichst wenige Wechsel zwischen Maus und Tastatur) - Graphiklayout, GUI und Signaldarstellungen sind konfigurierbar. - Segmentattribute können anwendungsbezogen definiert werden (Segment-Templates) - Paralleles Arbeiten im Workspace ist möglich (Kontrollhören, Korrektur, Detailanalyse) Scroll + Zoom synchron für Wellenform und Spektrogramm Steuerung auch über Hotkeys und Kontextmenü verfügbar Segmentliste + Editor

9 RETISIMO – REalTIme SIgnal MOdification
Allgemeines Framework für Signalprocessing und Spektrumanalyse von Stereosignalen in Echtzeit (Anwendung der Frame-Multiplier, siehe Projekt „MulAc“) Blockdiagramm: Zeitbereich x(t) Spektrum a(f),φ(f) Zeitbereich y(t) Wave-Out oder Soundfile Wave-In oder Soundfile Processing Modul Preprocessing Input Multiplexer Input Analyse Synthese Postprocessing Output Multiplexer Output Level- meter (Spektren, PPM vom Processing- Modul abhänige Funktionen) Grafik und Implementierte Prozessing Module: Synthese Analyse Standardfilter (Tiefpass, Hochpass, Bandpass) Graphisch definierte Filter HRTF-Rendering mit D Quellenpositionierung Sprachsynthese und D Vokaltraktmodell Rauschunterdrückung (Signalverbesserung) Irrelevanzfilter (Simultanmaskierung) LAN Files Framework-Modul Framework-Modul; Funktion teilweise abhängig von Processing-Modul (z.B. für HRTF, Sprachsynthes) 3D Graphik Externe Externe Daten (z.B.: HRTFs, Filterspektren Sprachdaten) Processing-Modul; austauschbar Externe Programme und Daten; abhängig von Processing-Modul

10 Maskierungsparameter
RETISIMO Modul – Irrelevanzfilter Entfernung nicht hörbarer („irrelevanter“) Teile von Klängen mittels Simultanmaskierung Blockdiagramm: Irrelevanzfilter Maskierungs- filter Maskierungs- spektrum Pegel- adaptierung Signalspektrum x(f) Irrelevanzspektrum y(f) x(f) für x(f)>m(f) y(f)= für x(f)≤m(f) Maskierungsparameter Adapierungsparameter Psychoakustisches Modell der Simultanmaskierung von Sinustönen Signalspektrum Anwendungen: In der Signalanalyse (Informationsreduktion) Übermaskierung = Trennung starker („Vordergrund“) und schwacher („Hintergrund“) Signalteile In der Signalkodierung; „perzeptive Coder“ z.B.: MP3 Irrelevanzspektrum Maskierungsfunktion abhängig von Frequenz und Amplitude des Maskierungstones Maskierungs- ton Amplitude in dB Testton 1 nicht hörbar („maskiert“) Maskierungsspektrum Testton 2 hörbar Frequenz in Bark (= perzeptive Frequenzskala)

11 RETISIMO Modul – Sprachsynthese
Formant-Synthesizer (Dennis H. Klatt; JASA 67/3, 1980) und Berechnung der Vokaltraktquerschnitte mittels LPC (Linear Prediction Coding) Blockdiagramm: Formant-Synthesizer Sprachsignal Grundfrequenz und Amplitude Puls Generator Vokaltraktfilter LPC Analyse Mix Die Syntheseparameter werden über Dialog und Grafik eingegeben oder von einem Sprachdatenfile gelesen Rausch Generator Vokaltraktmodell Amplitude Formanten (Frequenz, Amplitude, Bandbreite) Filter- spektrum Querschnitts- koeffizienten Formanten Amplituden- spektrum des Sprachsignals

12 RETISIMO Modul – HRTF-Rendering
Simulation einer im Raum positionierbaren Quelle mittels gemessener oder berechneter HRTFs (HRTF = Head Related Transfer Function = individuelle Außenohr-Übertragungsfunktion) Blockdiagramm: HRTF-Rendering Input (mono) Filter links Output links HRTF Datenbasis H(α,β) Filterspektrum- generator Filter rechts Position der Quelle (Distanz r, Azimuth α, Elevation β) Output rechts z.B.: Azimuth=45°, Elevation=0° (Quelle vorne, links in Kopfebene) HRTF links HRTF rechts Beim Rendering werden  das HRTF-Spektrum, die Zeitdifferenz zwischen den Ohren und die Distanz zur Quelle berücksichtigt.