Von Spektren und Formanten Grundlagen akustischer Analyse und Manipulation Martin Meyer/Franziskus Liem 28.03.2011.

Präsentation zum Thema: "Von Spektren und Formanten Grundlagen akustischer Analyse und Manipulation Martin Meyer/Franziskus Liem 28.03.2011."—  Präsentation transkript:

1 Von Spektren und Formanten Grundlagen akustischer Analyse und Manipulation Martin Meyer/Franziskus Liem

2 Übersicht I Theorie II Praxis Das Oszillogramm
Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis Theorie mit einfachen signalen Wie kann man soundfiles darstellen und analysieren7 Praxis mit sprache

3 Das Oszillogramm Oszillogramme einfacher Sinussignale

4 Das Oszillogramm Oszillogramme einfacher Sinussignale

5 Das Oszillogramm 2 Dimensionen Was kann man daraus ablesen? x: Zeit
y: Auslenkung (durch Schall entstandene Luftdruckschwankungen) Was kann man daraus ablesen? Amplitude Ausschlag/Auslenkung des Signals → Lautstärke Frequenz Anzahl der Nulldurchgänge innerhalb einer Sekunde bzw. 1/Periodendauer Hertz [Hz] → Tonhöhe

6 Das Oszillogramm

7 Das Oszillogramm Wie unterschiedlich sind die beiden Töne?

8 Übersicht I Theorie II Praxis Das Oszillogramm
Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis

9 Fourier Transformation
Überlagerung zweier Schwingungen → Addition zu einer neuen

10 Fourier Transformation
Jedes (auch noch so komplexe) periodische Signal (zB Sprache) stellt eine Addition einfacher Sinusschwingungen dar Die FT zerlegt ein komplexes Signal in einzelne Sinusschwingungen mit unterschiedlicher Frequenz

11 Fourier Transformation
100 Hz 200Hz Energie (Amplitude) FT Oszillogramm Spektrum

12 Spektrum 2 Dimensionen Dezibel - dB Frequenz [Hz]
Energie - Schalldruckpegel (Sound Pressure Level - SPL) [dB/Hz] Dezibel - dB Logarithmische Hilfseinheit Faustregel: +10 dB entspricht ungefähr der doppelten Lautstärke Schallereignis (Pa) Referenzdruck (Pa)

13 Spektrum Welches Signal ist lauter, höher?

14 Spektrum 14

15 Spektrum 440 Hz Hz =

16 Spektrum Wie sieht das Spektrum aus?

17 Spektrum Was kann aus einem Spektrum ablesen?
Verteilung der Frequenzen und ihre Intensität → Klangfarbe Klangfarbe Im Zeitbereich Im Frequenzbereich Meyer et al. (2006)

18 Spektrum Abfallend oder Ansteigend?

19 Spektrum Keine Aussage über Veränderungen, Trends über die Zeit
→ gut geeignet, um durchschnittliche Charakteristik eines Signals bzw. eingeschwungene Signale darzustellen Sprache, Musik… sind zeitlich sehr komplexe Signale → Darstellung im Spektrogramm

20 Spektrogramm (=Sonagramm, Sonogramm)
3 Dimensionen x: Zeit y: Frequenz z (Schwärzung): Energie (Intensität)

21 Spektrogramm Was kann man daraus ablesen?
Verteilung der Frequenzen und ihre Intensität Verlauf über die Zeit

22 Spektrogramm

23 Spektrogramm Abfallend oder Ansteigend?

24

25

26 Zusammenfassung Achsen Gut Ablesbar Oszillogramm Zeit Auslenkung
Lautstärke, Pausen/Segmente Spektrum Frequenz Intensität Gesamtcharakteristik der Frequenz/Intensität, Klangfarbe Spektrogramm Frequenz- & Intensitätsverlauf über die Zeit

27 Übersicht I Theorie II Praxis Das Oszillogramm
Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis

28 Das Quelle-Filter-Modell der Vokalproduktion
ein Filter lässt bestimmte Frequenzen passieren & dämpft andere

29 Resonanzfrequenz je grösser das Objekt desto tiefer fres
Quelle Filter Output Rauschen Resonator gefiltertes Rauschen

30 Vokaltrakt als Resonator
Vokalproduktion Quelle Filter Output Stimmlippen Vokaltrakt Sprache

31 Formanten Entstehung einer Lautäusserung - Quelle/Filter-Theorie
supralaryngal Ansatzrohr (Mund-, Nasen-, Rachenraum (Pharynx)): Artikulation = Modulation / Filterung des Quellsignals → Ausdifferenzierung der Phoneme →Formanten Larynx (Kehlkopf): Phonation = Erzeugung eines akustischen Signals (Schwingung der Stimmbänder mit Grundfrequenz f0) - Quellsignal → Tonhöhe (f0), Stimmqualität (zB gepresst) laryngal Lunge: Luftdruck → Lautstärke sublaryngal Fitch (2000) logopaedie.rwth-aachen.de

32 Vokaltrakt (Ansatzrohr) als Resonator
mehrere Resonanzräume -> mehrere Resonanzfrequenzen

33 je nach Stellung der Artikulatoren unterscheiden sich die Formantfrequenzen

34 Formanten Supralaryngale Artikulatoren Zunge Lippen Gaumensegel

35 Formanten Quellsignal: f0 & Harmonische (ganzzahlige Vielfache von f0)
Je nach Geometrie und Stellung der Artikulatoren können bestimmte Frequenzen in Resonanz schwingen. Es ergeben sich Amplitudenmaxima → Formanten: Konzentration akustischer Energie in einem Frequenzband

36 Formanten Filter Konzentration akustischer Energie in einem Frequenzband Im Spektrogramm sichtbar

37 Formanten Im Spektrogramm

38 Formanten Im Spektrogramm
Fitch (1997)

39 •Frequenzbereiche erhöhter Intensität heissen Formanten
Filtering by formants (bandpass filter, Vokaltrakt Resonanzen) • Formanten – schnelle Modifikation durch Artikulatoren (Zunge, Lippe, Gaumen, Zäpfchen) • Formant – keinen Einfluss auf Tonhöhe, welche in der Larynx modifiziert werden. • („Beet, Bett, beten“)

40 Vokalraum Englisch Deutsch

41 Veränderungen in den Resonanzfrequenzen bewirken, dass unterschiedliche Frequenzbereiche des im Kehlkopf erzeugten Primärschalls verstärkt bzw. abgeschwächt werden. Frequenzbereiche erhöhter Intensität nennt man Formanten. Verschiedene Vokale unterscheiden sich durch die Lage ihrer Formanten.

42 Übersicht I Theorie II Praxis Praat Darstellung akustischer Signale
Signalfilter - Hochpass, Tiefpass, Bandpass - Flüstern & Delexikalisieren Suprasegmentale Manipulationen - Prosodie, akustische Geschlechtsumwandlung Segmentale Manipulation - VOT Signalvorverarbeitung - Normalisierung

43 Praat www.praat.org Soundanalyse, -manipulation…
Für viele Plattformen (Win, OS X, Linux…) Gratis, offen Viele Tutorials im Internet Gute On- und Offline Hilfe Stapelverarbeitung via Skripten möglich tw. etwas gewöhnungsbedürftiges Handling

44 Objects Befehle Ausgabefenster Hauptfenster Praat:
Hauptfenster: Objects; Befehle Outputfenster Objects Befehle Ausgabefenster Hauptfenster

45 Eigene Soundfiles aufnehmen
Vokale & Konsonanten Einen kurzen Satz (mit viel Melodie) New -> record mono sound… -> Record -> SPRECHEN Stop -> Save to list & close Write -> Write to wav file

46 Darstellung akustischer Signale Oszillogramm
File laden Read… → Read from file → jutta.wav Abspielen Play Edit Abspielen mit Tabulator Zoomen Intensity → Show Intensity Pitch → Show Pitch (in etwa f0) (Achtung: 2. Achse) Formant → Show Formants

47 Darstellung akustischer Signale Spektrum
Spektrum erstellen Analyse → Spectrum → To Spectrum... Abspielen: Tabulator Frequenzbereiche markieren und abspielen Zeichnen Draw...

48 Suprasegmentale Manipulationen Akustische Geschlechtsumwandlung
f005.wav und m005.wav Synthesize → Convert → change gender… Formant shift ratio Duration factor Lattner et al. (2005)

49 Suprasegmentale Manipulationen Flattening
Sound 1a06 → Manipulate → To Manipulation... Manipulation 1a06 → Extract Pitch Tier Edit Remove Points Add Point Replace Pitch Tier Manipulation 1a06 & PitchTier untiteled gleichzeitig markieren → Replace Pitch Tier Flattened soundfile erstellen Manipulation 1a06 Play (overlapp-add) Get resynthesis (overlapp-add) Sound 1a06 Write → Write to WAV file… + weiter Melodieverläufe erstellen

50 Suprasegmentale Manipulationen Flattening
Meyer et al. (2004)

51 Signalfilter Hochpass Tiefpass Bandpass Bandstopp
Lässt Frequenzen über einer Grenzfrequenz passieren Tiefpass Lässt Frequenzen unter einer Grenzfrequenz passieren Bandpass Lässt Frequenzen in einem Frequenzband passieren Bandstopp Stoppt Frequenzen in einem Frequenzband

52 Signalfilter Flüstern
1a06.wav Hochpassfilter anlgegen Synthesize → Filter (stop hann band)… → 0...x Hz

53 Signalfilter Delexikalisieren
Semantische Informationen zerstört, prosodische erhalten Kontrollbedingung in Experimenten (zB: Meyer et al., 2004) 1a06.wav Tiefpassfilter anlgegen Synthesize → Filter (pass hann band)… → 0...x Hz

54 Segmentale Manipulationen VOT
VOT – Voice Onset Time Zeit zwischen Beginn des Konsonanten und Einsatz der Stimme (Schwingung der Stimmbänder) Frye(2007)

55 Segmentale Manipulationen VOT
Kategoriale Sprachwahrnehmung /da/  /ta/ Phonem-Grenze = phonetic categoric boundary eco.psy.ruhr-uni-bochum.de/download/Guski-Lehrbuch/Kap_7_3.html

56 Segmentale Manipulationen VOT
Pa-pa.wav /pa/ /ba/

57 Signalvorverarbeitung Normalisierung
Zwei Unterschiedlich laute Soundfiles (jutta.wav & kind.wav) Normalisierung: Angleichung der Energie (→ Lautstärke) Modify → scale intesity… → zB: 70dB Kontrolle: Query → get intensity (dB)

58 Darstellung akustischer Signale Oszillogramm
Edit Get Pitch/Formant Frequency... Wide-/Narrowband-Spektrogramm Spectrum → Spectrogramm settings… Window length: 0.005s → Wideband Window length: 0.05s → Narrowband Vgl. f0 und unterste Harmonische Oszillogram zeichnen Im Outputwindow einen eine Ebene aufspannen Draw… Parameter variieren File → Copy to clipboard Erase All

59 Literatur aachen.de/personen/dozenten/bkroeger/documents/Kroeger_PhonetikSkript_2007.pdf