Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; Masking, Maths, Marseille & More - An introduction to the phase vocoder, the phase, psychoacoustic masking and frame multipliers (an extension of the talk given at the HASSIP minischool 2003 in Marseille and at the LMA, CRNS 2004) Peter Balazs Acoustics Research Institute, Austrian Academy of Science, Vienna

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; Phase Vocoder Phase in STFT Masking Frame Multiplier CONTENT

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; SHORT TIME FOURIER TRANSFORMATION The phase vocoder is an algorithm whose first part of analysis is just the discrete STFT. Short Time Fourier transformation, STFT

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; INTERPRETATION OF THE PHASE VOCODER (STFT) Fourier-transform Windowed signal mathematically equivalent Filterbank A channel of the filterbank Gabor projection Shifted atoms

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; Uncertainty: FROM FOURIER TO STFT Non-uniqueness:

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; overlap add oscillator bank projection on dual atoms SYNTHESIS REDUNDANCY STFT PERCEPTUAL REDUNDANCY masking Basis or frame SYNTHESIS AND REDUNDANCY Gabor frame :

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; PHASE VOCODER Low pass filter Phase calculation Filterbank A channel of the filterbank

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; AUDITORY PERCEPTION In the human ear the sound wave excitates the basilar membrane and activates the nerve cells. Nearer to the window they react to high, farther away to low frequencies. This correlation between frequency and point on the membrane is called tonotopy. The human ear

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; AUDITORY PERCEPTION Bark :

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; AUDITORY MASKING Spectrum and relevance threshold Masking : the presence of one stimulus, the masker, decreases the response to another stimulus, the target. Thresholding = Gabor Multiplier

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; Psychoakustik (Zwicker) - Examples

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; IMPLEMENTATION OF MASKING FILTER IN ST X output signal Bark scale transformationspreading function convolution inverse bark scale transformation and compensation power spectrum [dB/Hz] power spectrum [dB/Bark] auditory filter threshold spectrum [dB/Bark] threshold spectrum [dB/Hz] analysis section of the phase vocoder synthesis section of the phase vocoder phase spectrum offset level [dB] filter: remove spectral components lower than threshold filtered power spectrum [dB/Hz] input signal For the analysis and re- synthesis the atoms PVANAand PVSYN are used. IRRECKEL: Module for computation of relevance threshold and filtering

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; IMPLEMENTATION OF MASKING FILTER IN ST X Original

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; IMPLEMENTATION OF MASKING FILTER IN ST X Relevant

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; IMPLEMENTATION OF MASKING FILTER IN ST X Irrelevant

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; APPLICATIONS Sound / Data Compression : MP3 Sound Design Background – Foreground Separation: over-masking Contrast Increase

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; CURRENT IMPROVEMENT / DEVELOPMENT Improvements of the current algorithms. Newer psychoacoustical knowledge Description of hearing and masking in the context of Gabor or wavelets Time-Frequency Masking Eigenfunctions

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TEMPORAL MASKING

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING Acoustics Research Institute, Austrian Academy of Science LMA, CNRS Marseille LATP, CMI, Marseille

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING f t A C B D Laback / Balazs:

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING Laback / Balazs: f t A

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING Laback / Balazs: f t A

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING Laback / Balazs: f t A

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; TIME FREQUENCY MASKING Basic: Use simple modell for simultaneous and temporal masking Test Use excitation pattern (Heijden) Extended: Use newer psychoacoustical knowledge (Laback) Use algorithm to speparate signal in tonal, transient and noise parts (Jaillet) Test Use ST X spreading function

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; FILTER Thresholding: Gabor Multiplier: irregular grid (bark) Time Frequency localization operator (continuous) Wavelet Multiplier ? Multiple Gabor Extension Multiplier ? (Or something completely different:) Auditory Filter Multiplier ? Gamma-tone Filter Multiplier? Spectrum and relevance threshold

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; FRAME MULTIPLIER Frame Frame Multiplier:

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; FRAME MULTIPLIER

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel / ; Fax +43 1/ ; REFERENCES: [1] S.S. Abeyseker, K.P. Padhi et al, Investigation Of Different Freqeuncy Estimation Techniques Using The Phase Vocoder, Circuits and Systems, ISCAS The 2001 IEEE International Symposium on, Volume: 2,(2001) [2] P.Balazs, H. Waubke, W.A. Deutsch, Phasenanalyse mit akustischen Anwendungsbeispielen, Proceedings DAGA Fortschritte der Akustik, Aachen (2003) [3] O. Christensen, An Introduction To Frames And Riesz Bases, Birkhäuser Boston (2003) [4] W.A. Deutsch, A. Noll, Simulation auditorischer Signaltrennung in komplexen musikalischen Signalen durch Übermaskierung, Fortschritte der Akustik 'DAGA'93 (1993) [5] M. Dolson, The Phase Vocoder: A Tutorial, Computer Musical Journal, Vol. 10. No. 4 (1986) [6] G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale, PhD Thesis, Universität Wien (1989) [7] H. Fastl, Beschreibung dynamischer Hörempfindungen anhand von Mithörschwellen-Muster, HochschulVerlag Freiburg (1982) [8] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998) [9] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis, Birkhäuser Bosten (2003) [10] S. A. Gelfand, Essentials of audiology, Thieme New York. (1997) [11] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001) [12] B. Laback, Effekte der Simultanmaskierung auf die Musikperzeption bei sensorineuralen Hörschäden und ihre Anwendung für Signalverarbeitungsalgorithmen in Hörgeräten, PhD Thesis, Universität Wien (1998) [13] B. Moore, Perceptual Consequences of Cochlear Damage, Oxford Medical Publications (1995) [14] A. Noll, J. White, P. Balazs, W. A. Deutsch, ST X - Intelligent Sound Processing, Programmer's Reference, [15] Zwicker E, Fastl H, Psychoacoustics, Springer-Verlag, Berlin, Germany, 1990