Von Spektren und Formanten Grundlagen akustischer Analyse und Manipulation Martin Meyer/Franziskus Liem 28.03.2011

Übersicht I Theorie II Praxis Das Oszillogramm Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis Theorie mit einfachen signalen Wie kann man soundfiles darstellen und analysieren7 Praxis mit sprache

Das Oszillogramm Oszillogramme einfacher Sinussignale

Das Oszillogramm Oszillogramme einfacher Sinussignale

Das Oszillogramm 2 Dimensionen Was kann man daraus ablesen? x: Zeit y: Auslenkung (durch Schall entstandene Luftdruckschwankungen) Was kann man daraus ablesen? Amplitude Ausschlag/Auslenkung des Signals → Lautstärke Frequenz Anzahl der Nulldurchgänge innerhalb einer Sekunde bzw. 1/Periodendauer Hertz [Hz] → Tonhöhe

Das Oszillogramm

Das Oszillogramm Wie unterschiedlich sind die beiden Töne?

Übersicht I Theorie II Praxis Das Oszillogramm Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis

Fourier Transformation Überlagerung zweier Schwingungen → Addition zu einer neuen www.germanistik.unibe.ch

Fourier Transformation Jedes (auch noch so komplexe) periodische Signal (zB Sprache) stellt eine Addition einfacher Sinusschwingungen dar Die FT zerlegt ein komplexes Signal in einzelne Sinusschwingungen mit unterschiedlicher Frequenz

Fourier Transformation 100 Hz 200Hz Energie (Amplitude) FT Oszillogramm Spektrum

Spektrum 2 Dimensionen Dezibel - dB Frequenz [Hz] Energie - Schalldruckpegel (Sound Pressure Level - SPL) [dB/Hz] Dezibel - dB Logarithmische Hilfseinheit Faustregel: +10 dB entspricht ungefähr der doppelten Lautstärke Schallereignis (Pa) Referenzdruck (Pa)

Spektrum Welches Signal ist lauter, höher?

Spektrum 14

Spektrum 440 Hz + 1000Hz =

Spektrum Wie sieht das Spektrum aus? 440 1000

Spektrum Was kann aus einem Spektrum ablesen? Verteilung der Frequenzen und ihre Intensität → Klangfarbe Klangfarbe Im Zeitbereich Im Frequenzbereich Meyer et al. (2006)

Spektrum Abfallend oder Ansteigend?

Spektrum Keine Aussage über Veränderungen, Trends über die Zeit → gut geeignet, um durchschnittliche Charakteristik eines Signals bzw. eingeschwungene Signale darzustellen Sprache, Musik… sind zeitlich sehr komplexe Signale → Darstellung im Spektrogramm

Spektrogramm (=Sonagramm, Sonogramm) 3 Dimensionen x: Zeit y: Frequenz z (Schwärzung): Energie (Intensität)

Spektrogramm Was kann man daraus ablesen? Verteilung der Frequenzen und ihre Intensität Verlauf über die Zeit

Spektrogramm

Spektrogramm Abfallend oder Ansteigend?

Zusammenfassung Achsen Gut Ablesbar Oszillogramm Zeit Auslenkung Lautstärke, Pausen/Segmente Spektrum Frequenz Intensität Gesamtcharakteristik der Frequenz/Intensität, Klangfarbe Spektrogramm Frequenz- & Intensitätsverlauf über die Zeit

Übersicht I Theorie II Praxis Das Oszillogramm Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis

Das Quelle-Filter-Modell der Vokalproduktion ein Filter lässt bestimmte Frequenzen passieren & dämpft andere

Resonanzfrequenz je grösser das Objekt desto tiefer fres Quelle Filter Output Rauschen Resonator gefiltertes Rauschen

Vokaltrakt als Resonator Vokalproduktion Quelle Filter Output Stimmlippen Vokaltrakt Sprache

Formanten Entstehung einer Lautäusserung - Quelle/Filter-Theorie supralaryngal Ansatzrohr (Mund-, Nasen-, Rachenraum (Pharynx)): Artikulation = Modulation / Filterung des Quellsignals → Ausdifferenzierung der Phoneme →Formanten Larynx (Kehlkopf): Phonation = Erzeugung eines akustischen Signals (Schwingung der Stimmbänder mit Grundfrequenz f0) - Quellsignal → Tonhöhe (f0), Stimmqualität (zB gepresst) laryngal Lunge: Luftdruck → Lautstärke sublaryngal Fitch (2000) logopaedie.rwth-aachen.de

Vokaltrakt (Ansatzrohr) als Resonator mehrere Resonanzräume -> mehrere Resonanzfrequenzen www.ims.uni-stuttgart.de

je nach Stellung der Artikulatoren unterscheiden sich die Formantfrequenzen

Formanten Supralaryngale Artikulatoren Zunge Lippen Gaumensegel

Formanten Quellsignal: f0 & Harmonische (ganzzahlige Vielfache von f0) Je nach Geometrie und Stellung der Artikulatoren können bestimmte Frequenzen in Resonanz schwingen. Es ergeben sich Amplitudenmaxima → Formanten: Konzentration akustischer Energie in einem Frequenzband

Formanten Filter Konzentration akustischer Energie in einem Frequenzband Im Spektrogramm sichtbar

Formanten Im Spektrogramm

Formanten Im Spektrogramm Fitch (1997)

•Frequenzbereiche erhöhter Intensität heissen Formanten Filtering by formants (bandpass filter, Vokaltrakt Resonanzen) • Formanten – schnelle Modifikation durch Artikulatoren (Zunge, Lippe, Gaumen, Zäpfchen) • Formant – keinen Einfluss auf Tonhöhe, welche in der Larynx modifiziert werden. • („Beet, Bett, beten“)

Vokalraum Englisch Deutsch

Veränderungen in den Resonanzfrequenzen bewirken, dass unterschiedliche Frequenzbereiche des im Kehlkopf erzeugten Primärschalls verstärkt bzw. abgeschwächt werden. Frequenzbereiche erhöhter Intensität nennt man Formanten. Verschiedene Vokale unterscheiden sich durch die Lage ihrer Formanten.

Übersicht I Theorie II Praxis Praat Darstellung akustischer Signale Signalfilter - Hochpass, Tiefpass, Bandpass - Flüstern & Delexikalisieren Suprasegmentale Manipulationen - Prosodie, akustische Geschlechtsumwandlung Segmentale Manipulation - VOT Signalvorverarbeitung - Normalisierung

Praat www.praat.org Soundanalyse, -manipulation… Für viele Plattformen (Win, OS X, Linux…) Gratis, offen Viele Tutorials im Internet Gute On- und Offline Hilfe Stapelverarbeitung via Skripten möglich tw. etwas gewöhnungsbedürftiges Handling www.praat.org

Objects Befehle Ausgabefenster Hauptfenster Praat: Hauptfenster: Objects; Befehle Outputfenster Objects Befehle Ausgabefenster Hauptfenster

Eigene Soundfiles aufnehmen Vokale & Konsonanten Einen kurzen Satz (mit viel Melodie) New -> record mono sound… -> Record -> SPRECHEN Stop -> Save to list & close Write -> Write to wav file

Darstellung akustischer Signale Oszillogramm File laden Read… → Read from file → jutta.wav Abspielen Play Edit Abspielen mit Tabulator Zoomen Intensity → Show Intensity Pitch → Show Pitch (in etwa f0) (Achtung: 2. Achse) Formant → Show Formants

Darstellung akustischer Signale Spektrum Spektrum erstellen Analyse → Spectrum → To Spectrum... Abspielen: Tabulator Frequenzbereiche markieren und abspielen Zeichnen Draw...

Suprasegmentale Manipulationen Akustische Geschlechtsumwandlung f005.wav und m005.wav Synthesize → Convert → change gender… Formant shift ratio Duration factor Lattner et al. (2005)

Suprasegmentale Manipulationen Flattening Sound 1a06 → Manipulate → To Manipulation... Manipulation 1a06 → Extract Pitch Tier Edit Remove Points Add Point Replace Pitch Tier Manipulation 1a06 & PitchTier untiteled gleichzeitig markieren → Replace Pitch Tier Flattened soundfile erstellen Manipulation 1a06 Play (overlapp-add) Get resynthesis (overlapp-add) Sound 1a06 Write → Write to WAV file… + weiter Melodieverläufe erstellen

Suprasegmentale Manipulationen Flattening Meyer et al. (2004)

Signalfilter Hochpass Tiefpass Bandpass Bandstopp Lässt Frequenzen über einer Grenzfrequenz passieren Tiefpass Lässt Frequenzen unter einer Grenzfrequenz passieren Bandpass Lässt Frequenzen in einem Frequenzband passieren Bandstopp Stoppt Frequenzen in einem Frequenzband

Signalfilter Flüstern 1a06.wav Hochpassfilter anlgegen Synthesize → Filter (stop hann band)… → 0...x Hz

Signalfilter Delexikalisieren Semantische Informationen zerstört, prosodische erhalten Kontrollbedingung in Experimenten (zB: Meyer et al., 2004) 1a06.wav Tiefpassfilter anlgegen Synthesize → Filter (pass hann band)… → 0...x Hz

Segmentale Manipulationen VOT VOT – Voice Onset Time Zeit zwischen Beginn des Konsonanten und Einsatz der Stimme (Schwingung der Stimmbänder) Frye(2007)

Segmentale Manipulationen VOT Kategoriale Sprachwahrnehmung /da/  /ta/ Phonem-Grenze = phonetic categoric boundary eco.psy.ruhr-uni-bochum.de/download/Guski-Lehrbuch/Kap_7_3.html

Segmentale Manipulationen VOT Pa-pa.wav /pa/ /ba/

Signalvorverarbeitung Normalisierung Zwei Unterschiedlich laute Soundfiles (jutta.wav & kind.wav) Normalisierung: Angleichung der Energie (→ Lautstärke) Modify → scale intesity… → zB: 70dB Kontrolle: Query → get intensity (dB)

Darstellung akustischer Signale Oszillogramm Edit Get Pitch/Formant Frequency... Wide-/Narrowband-Spektrogramm Spectrum → Spectrogramm settings… Window length: 0.005s → Wideband Window length: 0.05s → Narrowband Vgl. f0 und unterste Harmonische Oszillogram zeichnen Im Outputwindow einen eine Ebene aufspannen Draw… Parameter variieren File → Copy to clipboard Erase All

Literatur http://www.linguistics.ucsb.edu/faculty/gordon/106/106acousticpdf/widebandlinguistics.pdf http://www.logopaedie.rwth- aachen.de/personen/dozenten/bkroeger/documents/Kroeger_PhonetikSkript_2007.pdf http://www.phonetik.uni-muenchen.de/Lehre/Skripten/SGL/SGLHome.html http://www.spectrum.uni-bielefeld.de/~thies/HTHS_WiSe2005-06/formanten_in_vokaldreieck.jpg http://www.germanistik.unibe.ch/siebenhaar/subfolder/PhonetikPhonologie/