Acoustics Research Institute Austrian Academy of Science ST X : an application for harmonic analysis in psychoacoustics Peter Balazs Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Peter Balazs 1999 started as programmer at the ISF 2001 finshed mathematics (University of Vienna) 2002 started preparation for PhD thesis at NuHAG

ST X : basic applications Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF RealTime Tools Digital Signal Processing Custom Applications ST X Soundfile- /Data- Management

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF C++ MFC, Windows API // Shell-Command: "WRITE file [/F format]" int CShell::DoWRITE(int argc, tARGV *argv, int optc, tARGV *optv, int shcmd) { int ofs, lf; char line[SHELL_LINE]; CShellFile *file; int fmt = TestOption(optc, optv, "Ff"); int clr = TestOption(optc, optv, "Cc"); if(shcmd) ofs = 0; else if(argc < 1) return ERR_TooFewArguments; ST X : programming environment

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF C++ MFC, Windows API ST X Macro / Script Language string based interpreter [MACRO AppCleanup] LogMsg 1 0 Begin object cleanup #try := 1 do forever gosub _destruct gosub _control run stop gosub _control stop exit gosub _delete table file spu value wave readvar result #del #err if $#err == 0 then LogMsg '1 0 trial #'$#try': '$#del' break else if $#try < 3 then LogMsg '1 0 trial #'$#try': '$#del' #try := int $#try ST X : programming environment

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF C++ MFC, Windows API ST X Macro / Skript Language string based interpreter SPU circuit language // signal source for viewer method "spectrogram" [SPU MXSPUSIG wave length shift factor diff wdwtype wdwcoef OUT signal frames srate df lfft relpos curframe] src = csigin wdw = window par = fftpar mmm = mul src $wave 0 $length $shift $factor $diff mmm src.i $shift wdw src.x1 $wdwtype $wdwcoef 1 par src.x1 src.sr signal = wdw.y frames = src.n srate = src.sr ST X : programming environment

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Microsoft Visual Studio ST X Macro / Skript Language string based interpreter SPU circuit language ST X : programming environment C++ MFC, Windows API

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Microsoft Visual Studio ST X Macro / Skript Language string based interpreter SPU circuit language ST X : programming environment C++ MFC, Windows API Microsoft Source Safe

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF RTA ST X : visualisation

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF RTA ST X : visualisation What you see is what you hear!

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF „spectrogram“ wavelet ST X : visualisation

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF „spectrogram“ wigner distribution ST X : visualisation

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF phase analysis ST X : phase analysis is continous only on Limited precision A stationary sine wave does not have a constant phase if anaylsed with a discrete STFT (with FFT). Unwrapping Locking Thresholding

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF ST X : phase analysis String quality

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF formants forensic speaker recognition ST X : parameter

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF RMSB „root mean square“ in frequency bands ST X : parameter

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF RMSB „root mean square“ in frequency bands ST X : parameter

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Masking filter Irrelevance ST X : signal processing irrelevant relevant original

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF CI cochlea implants ST X : custom applications

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF CI cochlea implants ST X : custom applications Music 12 channels Original 5 channels Speech 12 channels Original 3 channels * * * * * Sine Synthese * Noise Band Synthese

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Masking filter Irrelevance ST X : signal processing irrelevant relevant original

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF ST X : data handling : XML XML = eXtensible Markup Language Metalanguage Hypertext Markup markup = tag..... Open Standard <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> Peter Balazs Tulln <!DOCTYPE document [ <!ELEMENT ADRESSE (Vorname, Nachname, Wohnort)>.... ]> Peter Balazs Tulln CursorOpts = SignalOpts= 1 1 FrameOpts= GraphXY= 0 1e Method= Average=

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF ST X : data handling: MPEG-7 ISO / IEC Standard „Mulitmedia Content Description Interface“ Multimedia data / metadata description system Low Level – High Level Open system Inheritance Description of methods normativ – informativ IDDogBarks IDState IDState IDState IDState IDState IDState

Acoustics Research Institute Austrian Academy of Science Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; OeAW-ISF Literatur: [1] Balazs, P., W. A. Deutsch, A. Noll & J. White: Intelligent Sound Processing S_TOOLS - STX User's Guide. Acoustics Research Institute, Austrian Academy of Sciences, Vienna (2002) [2] Balazs, P., W. A. Deutsch, B. Laback & A. Noll: Concept of the integrated signal analysis software system STX. Poster presented at the annual meeting of the Austrian Physics Association (ÖPG), Proceedings (CD-ROM) (2000). [2] J. M. Martínez, MPEG-7 Overview (version 8) ISO/IEC JTC1/SC29/WG11N4980, Klagenfurt, July 2002, [3] O. Pott, G. Wielange, XML Praxis und Referenz, München (2001) [4] W.A.Deutsch, A. Noll, Restoration of Historical Recordings, 75th AES, Paris (1984) [5] B. Laback, L. Mair, W.A. Deutsch, Spektrale Maskierung bei Stimulation über Cochlea-Implantate Fortschritte der Akustik DAGA'2000, Oldenburg (2000),. [5] M. Dolson, The Phase Vocoder: A Tutorial; Computer Musical Journal, Vol. 10. No. 4,Winter 1986 [6] A.V. Oppenheim, R.W. Schafer, Discrete-Time Signal Processing, Oldenbourg [7] G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale. Diss. Universität Wien 1989 Links: [1] STX, [2] MPEG Home Page, [3] Extensible Markup Language,