Acoustics Research Institute Austrian Academy of Science ST X : an application for harmonic analysis in psychoacoustics Peter Balazs

Präsentation zum Thema: "Acoustics Research Institute Austrian Academy of Science ST X : an application for harmonic analysis in psychoacoustics Peter Balazs"—  Präsentation transkript:

1

2 Acoustics Research Institute Austrian Academy of Science ST X : an application for harmonic analysis in psychoacoustics Peter Balazs http://www.kfs.oeaw.ac.at Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Peter Balazs 1999 started as programmer at the ISF 2001 finshed mathematics (University of Vienna) 2002 started preparation for PhD thesis at NuHAG

3 ST X : basic applications Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF RealTime Tools Digital Signal Processing Custom Applications ST X Soundfile- /Data- Management

4 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF C++ MFC, Windows API // Shell-Command: "WRITE file [/F format]" int CShell::DoWRITE(int argc, tARGV *argv, int optc, tARGV *optv, int shcmd) { int ofs, lf; char line[SHELL_LINE]; CShellFile *file; int fmt = TestOption(optc, optv, "Ff"); int clr = TestOption(optc, optv, "Cc"); if(shcmd) ofs = 0; else if(argc < 1) return ERR_TooFewArguments;....... ST X : programming environment

5 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF C++ MFC, Windows API ST X Macro / Script Language string based interpreter [MACRO AppCleanup] LogMsg 1 0 Begin object cleanup #try := 1 do forever gosub _destruct gosub _control run stop gosub _control stop exit gosub _delete table file spu value wave readvar result #del #err if $#err == 0 then LogMsg '1 0 trial #'$#try': '$#del' break else if $#try < 3 then LogMsg '1 0 trial #'$#try': '$#del' #try := int $#try+1.......... ST X : programming environment

6 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF C++ MFC, Windows API ST X Macro / Skript Language string based interpreter SPU circuit language // signal source for viewer method "spectrogram" [SPU MXSPUSIG wave length shift factor diff wdwtype wdwcoef OUT signal frames srate df lfft relpos curframe] src = csigin wdw = window par = fftpar mmm = mul src $wave 0 $length $shift $factor $diff mmm src.i $shift wdw src.x1 $wdwtype $wdwcoef 1 par src.x1 src.sr signal = wdw.y frames = src.n srate = src.sr....... ST X : programming environment

7 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Microsoft Visual Studio ST X Macro / Skript Language string based interpreter SPU circuit language ST X : programming environment C++ MFC, Windows API

8 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Microsoft Visual Studio ST X Macro / Skript Language string based interpreter SPU circuit language ST X : programming environment C++ MFC, Windows API Microsoft Source Safe

9 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF RTA http://www.kfs.oeaw.ac.at/software/stx_download.htm ST X : visualisation

10 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF RTA http://www.kfs.oeaw.ac.at/software/stx_download.htm ST X : visualisation What you see is what you hear!

11 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF „spectrogram“ wavelet ST X : visualisation

12 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF „spectrogram“ wigner distribution ST X : visualisation

13 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF phase analysis ST X : phase analysis is continous only on Limited precision A stationary sine wave does not have a constant phase if anaylsed with a discrete STFT (with FFT). Unwrapping Locking Thresholding

14 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF ST X : phase analysis String quality

15 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF formants forensic speaker recognition ST X : parameter

16 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF RMSB „root mean square“ in frequency bands ST X : parameter

17 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF RMSB „root mean square“ in frequency bands ST X : parameter

18 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Masking filter Irrelevance ST X : signal processing irrelevant relevant original

19 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF CI cochlea implants ST X : custom applications

20 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF CI cochlea implants ST X : custom applications Music 12 channels Original 5 channels Speech 12 channels Original 3 channels * * * * * Sine Synthese * Noise Band Synthese

21 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Masking filter Irrelevance ST X : signal processing irrelevant relevant original

22 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF ST X : data handling : XML XML = eXtensible Markup Language Metalanguage Hypertext Markup markup = tag..... Open Standard <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> Peter Balazs Tulln........ <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> Peter Balazs Tulln........ CursorOpts = 0 0 1 440 SignalOpts= 1 1 FrameOpts= 40 1 75 2 0 1 GraphXY= 0 1e4 1 -80 50 1 Method= 0 32 20 0 1 0 0 0 1 0 0 Average= 0 0 99

23 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF ST X : data handling: MPEG-7 ISO / IEC Standard „Mulitmedia Content Description Interface“ Multimedia data / metadata description system Low Level – High Level Open system Inheritance Description of methods normativ – informativ IDDogBarks IDState1 0.000 IDState2 0.000 IDState3 0.045 IDState4 0.000 IDState5 0.442 IDState6 0.513

24 Acoustics Research Institute Austrian Academy of Science Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at OeAW-ISF Literatur: [1] Balazs, P., W. A. Deutsch, A. Noll & J. White: Intelligent Sound Processing S_TOOLS - STX User's Guide. Acoustics Research Institute, Austrian Academy of Sciences, Vienna (2002) [2] Balazs, P., W. A. Deutsch, B. Laback & A. Noll: Concept of the integrated signal analysis software system STX. Poster presented at the annual meeting of the Austrian Physics Association (ÖPG), Proceedings (CD-ROM) (2000). [2] J. M. Martínez, MPEG-7 Overview (version 8) ISO/IEC JTC1/SC29/WG11N4980, Klagenfurt, July 2002, http://mpeg.telecomitalialab.com/standards/mpeg-7/mpeg-7.htm http://mpeg.telecomitalialab.com/standards/mpeg-7/mpeg-7.htm [3] O. Pott, G. Wielange, XML Praxis und Referenz, München (2001) [4] W.A.Deutsch, A. Noll, Restoration of Historical Recordings, 75th AES, Paris (1984) [5] B. Laback, L. Mair, W.A. Deutsch, Spektrale Maskierung bei Stimulation über Cochlea-Implantate Fortschritte der Akustik DAGA'2000, Oldenburg (2000),. [5] M. Dolson, The Phase Vocoder: A Tutorial; Computer Musical Journal, Vol. 10. No. 4,Winter 1986 [6] A.V. Oppenheim, R.W. Schafer, Discrete-Time Signal Processing, Oldenbourg [7] G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale. Diss. Universität Wien 1989 Links: [1] STX, http://www.kfs.oeaw.ac.at/software.htmhttp://www.kfs.oeaw.ac.at/software.htm [2] MPEG Home Page, http://mpeg.telecomitalialab.com/http://mpeg.telecomitalialab.com/ [3] Extensible Markup Language, http://www.w3.org/XML/http://www.w3.org/XML/