Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Ein Softwarepaket zum Verwalten Analysieren und Annotieren von Schallsignalen SOFTWARE STX ENTWICKLUNG Entwickelt am Institut für Schallforschung der Österreichischen.

Ähnliche Präsentationen


Präsentation zum Thema: "Ein Softwarepaket zum Verwalten Analysieren und Annotieren von Schallsignalen SOFTWARE STX ENTWICKLUNG Entwickelt am Institut für Schallforschung der Österreichischen."—  Präsentation transkript:

1 Ein Softwarepaket zum Verwalten Analysieren und Annotieren von Schallsignalen SOFTWARE STX ENTWICKLUNG Entwickelt am Institut für Schallforschung der Österreichischen Akademie der Wissenschaften Die Software ist auf unserer Homepage verfügbar

2 Echtzeitanalyse Analyse und graphische Darstellung von Signalen in Echtzeit Signalanalyse, Segmentierung und Annotierung - Benutzerdefinierte Analyseprofile - Parallele graphische Darstellung von Wellenform, Spektrogramm (FFT, LPC, Wavelet,...) und Parameterverläufen (rms, f 0, Formanten, …) - Annotierungen mit Attributvorlagen - lokales Detailspektrum (Sektion) Analyse Annotierung

3 Verwaltung von Signalen und Einstellungen Workspace - Sammelstelle für Programmeinstellungen und Projektdateien. Hier erfolgt die Auswahl von Signalen, Verarbeitungsprofilen und Benutzerscripts. Recorder Aufnahme von Signalen mit Signalaussteuerung und Tagging. Input Output Verwaltung Wave-In Wave-Out Dateien: Wave, XML, Text etc. TCP/IP DCOM (z.B.: R) DDE (z.B.: Excel) Clipboard Schnitt- stellen

4 Kommandozeile Entwicklungsumgebung Ausführung von Scriptbefehlen für die interaktive Entwicklung von Scripts. Debuggingumgebung Interaktives Debugging von Scripts mit Breakpoints, Funktionsstack, Umgebungsinspektor etc. Entwicklung Anwendungs- programmierung

5 Spektrogramme – Zeit-Frequenz Signaldarstellungen Vergleich verschiedener Spektrogramme des Sprachsignals kreidebleich Zeit Frequenz Kurzzeit-Fouriertransformation (STFT) Konstante, frequenzunabhängige Zeit- und Frequenzauflösung konstante Bandbreite Wavelet-Transformation (Typ: Morlet) Hohe Frequenzauflösung bei niedrigen Frequenzen Hohe Zeitauflösung bei hohen Frequenzen konstantes Verhältnis von Bandbreite zu Mittenfrequenz Spektrogramm = Signalamplitude als Funktion von Zeit und Frequenz = Zeit-Frequenz Darstellung

6 Sprachanalyse – Spektrogramm und Sprachparameter Berechnung und Darstellung von Sprachsignalen und grundlegenden Sprachparametern Segmentmarkierung Zeitbereich und Metadaten (z.B. Transkription) Spektrogramm Zeit-Frequenz Analyse = Schalldruck als Funktion von Zeit und Frequenz Grundfrequenz (f 0 ) Tonhöhenverlauf (Prosodie) Wellenform zeitlicher Verlauf des Schalldruckes Formantfrequenzen Resonanzen des Vokaltrakts Die berechneten Parameter können graphisch editiert (korrigiert), zur weiterverarbeitung im Workspace gespeichert und / oder exportiert werden.

7 MULAC – Frame-Multiplier in Acoucstics Framework für die Entwicklung, Testung und Anwendung von Frame-Multipliern (siehe Projekt MulAc) x= Die Definition von Modifikationen (Masken) erfolgt durch die graphische Auswahl des Zeit-Frequenz-Ausschnitts (Polygon) und die Angabe von Methode und Parametern. Die Erzeugung der Masken kann signalgetrieben (adaptiv) oder signalunabhängig erfolgen. Auslöschung (0-setzen der Amplitude) Irrelevanzfilter (Übermaskierung) Adaptives Kammfilter Zeit [s] Frequenz [kHz] Original (mongolischer Obertongesang) Modifikationsmatrix (Maske) Modifiziertes Signal Schwarz = 1 = keine Änderung Weiss = 0 = Auslöschung Analyse und Resynthese erfolgen derzeit mittels Gaborframes. Andere Methoden mit variabler Zeit / Frequenz-Auflösung (z.B. basierend auf Wavelets) sind geplant.

8 SPExL – Graphisch / Akustisch unterstützte Transkription Benutzerfreundliches, rasches Segmentieren, Transkribieren und Annotieren umfangreicher Tondokumente - Userinterface optimiert für Tastatureingabe (d.h. möglichst wenige Wechsel zwischen Maus und Tastatur) - Graphiklayout, GUI und Signaldarstellungen sind konfigurierbar. - Segmentattribute können anwendungsbezogen definiert werden (Segment-Templates) - Paralleles Arbeiten im Workspace ist möglich (Kontrollhören, Korrektur, Detailanalyse) Wellenform + Segmentmarkierung Spektrogramm + Transkription + (optional) f 0, Formanten; schnelles Umschalten zwischen Schmal- und Breitbandanalyse möglich Scroll + Zoom synchron für Wellenform und Spektrogramm Steuerung auch über Hotkeys und Kontextmenü verfügbar Segmentliste + Editor Anwendungen vor allem in der Phonetik, Phonologie und Forensik

9 RETISIMO – REalTIme SIgnal MOdification Allgemeines Framework für Signalprocessing und Spektrumanalyse von Stereosignalen in Echtzeit (Anwendung der Frame-Multiplier, siehe Projekt MulAc) Input Preprocessing Output Postprocessing Input Multiplexer AnalyseSynthese Processing Modul Analyse Level- meter Grafik (Spektren, PPM und vom Processing- Modul abhänige Funktionen) Implementierte Prozessing Module : Framework-Modul Processing-Modul; austauschbar 1.Standardfilter (Tiefpass, Hochpass, Bandpass) 2.Graphisch definierte Filter 3.HRTF-Rendering mit 3D Quellenpositionierung 4.Sprachsynthese und 3D Vokaltraktmodell 5.Rauschunterdrückung (Signalverbesserung) 6.Irrelevanzfilter (Simultanmaskierung) Zeitbereich x(t)Spektrum a(f),φ(f)Zeitbereich y(t) Output Multiplexer Framework-Modul; Funktion teilweise abhängig von Processing-Modul Wave-In oder Soundfile Wave-Out oder Soundfile Externe 3D Graphik (z.B. für HRTF, Sprachsynthes) LAN Externe Daten (z.B.: HRTFs, Filterspektren Sprachdaten) Externe Programme und Daten; abhängig von Processing-Modul Blockdiagramm: Files

10 RETISIMO Modul – Irrelevanzfilter Entfernung nicht hörbarer (irrelevanter) Teile von Klängen mittels Simultanmaskierung Blockdiagramm: Maskierungs- spektrum Maskierungs- filter Irrelevanzfilter Irrelevanzspektrum y(f) Signalspektrum x(f) Anwendungen : In der Signalanalyse (Informationsreduktion) Übermaskierung = Trennung starker (Vordergrund) und schwacher (Hintergrund) Signalteile In der Signalkodierung; perzeptive Coder z.B.: MP3 y(f)= x(f) 0 für x(f)>m(f) für x(f)m(f) Pegel- adaptierung AdapierungsparameterMaskierungsparameter Frequenz in Bark (= perzeptive Frequenzskala) Amplitude in dB Maskierungs- ton Psychoakustisches Modell der Simultanmaskierung von Sinustönen Testton 2 hörbar Testton 1 nicht hörbar (maskiert) Maskierungsfunktion abhängig von Frequenz und Amplitude des Maskierungstones Irrelevanzspektrum Signalspektrum Maskierungsspektrum

11 RETISIMO Modul – Sprachsynthese Formant-Synthesizer (Dennis H. Klatt; JASA 67/3, 1980) und Berechnung der Vokaltraktquerschnitte mittels LPC (Linear Prediction Coding) Blockdiagramm: Puls Generator Rausch Generator Mix Vokaltraktfilter LPC Analyse Formant-Synthesizer Grundfrequenz und Amplitude AmplitudeFormanten (Frequenz, Amplitude, Bandbreite) Sprachsignal Die Syntheseparameter werden über Dialog und Grafik eingegeben oder von einem Sprachdatenfile gelesen Filter- spektrum Vokaltraktmodell Querschnitts- koeffizienten Amplituden- spektrum des Sprachsignals Formanten

12 RETISIMO Modul – HRTF-Rendering Simulation einer im Raum positionierbaren Quelle mittels gemessener oder berechneter HRTFs (HRTF = Head Related Transfer Function = individuelle Außenohr-Übertragungsfunktion) Blockdiagramm: Filterspektrum- generator Filter links HRTF-Rendering Output links Filter rechts Output rechts Input (mono) Position der Quelle (Distanz r, Azimuth α, Elevation β) HRTF Datenbasis H(α,β) HRTF links HRTF rechts z.B.: Azimuth=45°, Elevation=0° (Quelle vorne, links in Kopfebene) Beim Rendering werden das HRTF-Spektrum, die Zeitdifferenz zwischen den Ohren und die Distanz zur Quelle berücksichtigt.


Herunterladen ppt "Ein Softwarepaket zum Verwalten Analysieren und Annotieren von Schallsignalen SOFTWARE STX ENTWICKLUNG Entwickelt am Institut für Schallforschung der Österreichischen."

Ähnliche Präsentationen


Google-Anzeigen