Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296;

Präsentation zum Thema: "Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296;"—  Präsentation transkript:

1 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Frames and Frame Multiplier Peter Balazs Acoustics Research Institute, Austrian Academy of Science, Vienna - http://www.kfs.oeaw.ac.at - Peter.Balazs@oeaw.ac.atPeter.Balazs@oeaw.ac.at Groupe de Traitement du Signal, LATP, CMI, Marseille - http://www.cmi.univ-mrs.fr/%7Emolla/GTS/index.htm - balazs@cmi.univ.mrs.fr in cooperation with: NuHAG, Mathematics Institute, University Vienna - http://www.univie.ac.at/NuHAG/ - a8927259@unet.univie.ac.at

2 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at SHORT TIME FOURIER TRANSFORMATION Short Time Fourier transformation, STFT

3 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at INTERPRETATION OF THE PHASE VOCODER (STFT) Fourier-transform Windowed signal mathematically equivalent Filterbank A channel of the filterbank Gabor projection Shifted atoms

4 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at overlap add oscillator bank projection on dual atoms SYNTHESIS REDUNDANCY STFT PERCEPTUAL REDUNDANCY masking Basis or frame SYNTHESIS AND REDUNDANCY Gabor frame :

5 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Discrete Representation Sampling

6 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Discrete Representation Modification of Time Frequency or Time Scale Parameters e.g. Denoising, masking, edge detection......

7 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Discrete Representation Coding /Decoding e.g. in MP3

8 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Discrete Representation Coding / Decoding or Encryption / Decryption

9 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Discrete Representation Represent a real world analog thing by discrete coefficents

10 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Orthonormal Bases in Hilbert Spaces Hilbert space Definition, examples Bases & ONBs Complete, basis, ONS, ONB Plancherel: Properties of an ONB Examples: SVD, PCA, ICA

11 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Problems with bases Error - robustness Properties of the elements Perturbation of basis elements Flexibility: Uniqueness redundancy Gabor: Balian-Low Wavelet

12 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Frames Definition Properties, frame operator S Dual frame Canonical Tight frame, canonical tight Finite setting, Algorithms for S -1

13 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Results for frames Images of ONBs

14 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Results for frames Representation with frames

15 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Gabor frames Definition Existence, Wiener space, Walnut theorem Duality Balian Low

16 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Gabor multiplier

17 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Masking Filter Best representation for masking threshold resp. auditory filters? Gabor Multiplier for irregular grid (bark) Time Frequency localization operator (continuous) Wavelet Multiplier Multiple Gabor Extension Multiplier (Or something completely different:) Auditory Filter Multiplier ? Gamma-tone Filter Multiplier? Spectrum and relevance threshold

18 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at Frame multiplier Definition

19 Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at REFERENCES: [1] O. Christensen, An Introduction To Frames And Riesz Bases, Birkhäuser Boston (2003) [2] M. Dörfler, Gabor Analysis for a Class of Signals called Music, PhD thesis Vienna (2002) [3] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998) [4] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis, Birkhäuser Bosten (2003) [5] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001)