BAS: Infrastrukturen für Technische Sprachsignalverarbeitung (BITS) LT-Summit Saarbrücken 11.05.2004 Hans G. Tillmann (Einleitung) Florian Schiel et. al. (Arbeitsbericht) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

Hans G. Tillmann Warum man bei der Entwicklung von SLP-Technologien auf phonetisch aufbereitete Sprachressourcen nicht verzichten kann (Über den wissenschaftlichen Hintergrund und die praktischen Zielsetzungen der Kooperation mit der Industrie) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

  Skizze der wissenschaftlichen Grundlagen   Um das tatsächliche Funktionieren der gesprochenen Sprache aufdecken zu können, müssen genau vier Zusammenhänge durch die phonetische Forschung theoretisch geklärt werden: 1.      Sprechakt und Äußerung 2.      Äußerung und Bedeutung 3.      Phonetische Variabilität und kategoriale Konstanz 4.      Zwei Zielsetzungen der Kooperation mit der Industrie H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

1. Sprechakt und Äußerung (i) Dieser Zusammenhang ist streng: es gibt keinen natürlichen Sprachakt ohne die lautsprachlichen Äußerung eines Sprecher (ii) An der phonetischen Form der Äußerung lässt sich erkennen, um welche Art von Sprachakt es sich handelt:     - in welcher Sprache sich ein Sprecher äußert (chinesisch, deutsch, französisch)     - ob es sich um einen L1- oder L2-Sprecher handelt (wie z.B. gesprochenes Deutsch mit englischem, französischen, chinesischen u.s.w. Akzent) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

(1. Sprechakt und Äußerung, cont.)  - in welcher Sprache sich ein Sprecher äußert (chinesisch deutsch, französisch) - ob es sich um einen L1- oder L2-Sprecher handelt (wie z.B. gesprochenes Deutsch mit englischem, französischen, chinesischen u.s.w. Akzent) - ob wir z.B. den angerufenen Sprecher selbst am Telefon haben oder ob wir nur seine Stimme vom Anrufbeantworter hören - ob laut gerufen, geflüstert, gefragt, befohlen, gebetet, gepredigt, im Gericht ein Urteil oder auf einem wissenschaftlichen Workshop ein Vortrag gehalten wird - ob es sich z.B. auch um ein typisches Produkt der heutigen Sprachsynthese handelt (in unterschiedlichster Qualität) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

(1. Sprechakt und Äußerung, cont.) (iii) Dieser kategoriale Reichtum ist für das tatsächliche Funktionieren von lautsprachlichen Kommunikationsprozessen auf grundlegende und auf maßgebende Weise relevant (iv) Der kategoriale Reichtum wird durch die phonetischen Tatsachen zum Ausdruck gebracht, die ein Sprecher schon allein mit seiner lautlichen Äußerung in die Welt setzt Kurz: Der kategoriale Reichtum der unterschiedlichsten Sprechakttypen bestimmt die extrem große Variabilität in den phonetischen Sprachdaten H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

2. Äußerung und Bedeutung (i) Für das tatsächliche Funktionieren von Sprechakten sind die phonetischen Tatsachen, die ein sprechendes Nervensystem an seiner Peripherie durch den Ablauf einzelsprachlich geregelter Sprechbewegungen (auf selbst- und fremdbeobachtbare Weise) präsentiert, zwar absolut notwendig, aber bei weitem nicht hinreichend: - nicht jede lautliche Äußerung ist ein Sprechakt - die Wahrnehmung der mit jeder konkreten Äußerung gegebenen regulären phonetischen Tatsachen ist automatisiert H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

2. Äußerung und Bedeutung (ii) Um das tatsächliche Funktionieren von Sprechakten wissenschaftlich erklären zu können, muss man das kognitive Bild der Äußerung, das beim Ablauf von lautsprachlichen Kommunikationsprozessen auf der Hirnrinde von Sprechern und Hörern entsteht, auf der semantischen Seite mit dem übrigen kortikal repräsentierten Weltwissen der betreffenden Individuen in Beziehung setzen können H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

(2. Äußerung und Bedeutung, cont.) (ii) Rein logisch muss im Bereich der Semantik zwischen zwei grundlegenden Typen von Sprechakten unterschieden werden. - Im ersten Fall werden Äußerungen autonym produziert (hierbei steht die Äußerung selbst steht im Zentrum der Aufmerksamkeit von Sprecher und Hörer) - Im zweiten Fall werden die Äußerungen heteronym verwen- det (Sprecher und Hörer transzendieren die wahrgenomme- ne Äußerung in die abstrakten und konkreten Situationen, die mit der Äußerung quasi automatisch beherrscht werden (iii) Im Hinblick auf die resultierenden phonetischen Sprach-daten ist der hier eingeführte Unterschied gravierend (s.u. 4.) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

3. Phonetische Variabilität und kategoriale Konstanz (i) Der Begriff der lautsprachlichen Äußerung ist mehrdeutig - wir ersetzen ihn durch den Begriff der phonetischen Tatsache (vgl. dazu Tillmann auf der letzten Heidelberger VERBMOBIL-Sitzung) Die als Sprachressourcen in die Datenbank aufzuneh-menden phonetischen Tatsachen bestehen aus digitalisierten Zeitfunktionen (Sprachsignalen) mit der symbolisch annotierten Kategorie der wahrgenommen Äußerung Der Zusammenhang zwischen Signal und Symbol ist kein analytischer, sondern logisch kontingent, also rein empirisch gegeben H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

(Phonetische Variabilität und Kategoriale Konstanz,) Der Zusammenhang zwischen Signal und Symbol ist kein analytischer, sondern logisch kontingent (also durch empirische Koinzidenz gegeben) Für menschliche Nervensysteme erweist sich die empirisch gegebene Zuordnungsrelation zwischen digitalisierbarem Signal und annotierbarer Kategorie als sogar experimentell reproduzierbar Auf dieser Basis lässt sich die Zuordnungsrelation durch eine empirisch verifizierbare Zuordnungstheorie explizit machen H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

4. Zwei Zielsetzungen der Kooperation mit der Industrie Rein wissenschaftlich kommt es darauf an, die lexikalisierten und die prosodischen Formen von Wörtern der deutschen Sprache durch konkret gegebene phonetische Tatsachen als Ressourcen für Industrie und Wissenschaft verfügbar zu machen Ziel 1: Schrittweise Verbesserung der industriellen Sprach-Technologie H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

4. Zwei Zielsetzungen der Kooperation mit der Industrie Ziel 2: Anwendung dieser verbesserten Sprachtechnologie für die theoretische Beherrschbarmachung der phonetischen Variation der prosodischen, kategorial gesteuerten Wortrealisierungen im Deutschen Hier stehen wir erst am Anfang einer langen Entwicklung. Doch müssen wir hier heute schon, durch das Verfolgen dieser beiden Ziele, die Grundlagen schaffen für die Erfolge der Zukunft. H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

Projekt-Rahmeninformation [BITS] - BAS Infrastrukturen für Technische Sprachverarbeitung ist eine Infrastrukturmaßnahme zur Schaffung einer wissenschaftlich und ingenieurtechnisch fundierten und allgemein zugänglichen Plattform für Ressourcen gesprochener deutscher Sprache innerhalb des Kompetenznetzwerkes für Sprachtechnologie unter der Federführung von COLLATE. H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

Projekt-Rahmeninformation Bayerisches Archiv für Sprachsignale (BAS): - Initiative der Ludwig-Maximilians-Universität - Forschung auf dem Sektor der Sprachverarbeitung BITS: - BMBF Förderung unter Federführung von COLLATE - Laufzeit: 48 Monate (Beginn 4/2002) - 9 thematisch abgeschlossene Teilprojekte H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 1 und 2 Zielsetzung: Methodologie zur Produktion von wiederverwendbaren Korpora & Methodologie zur technischen und inhaltlichen Validierung Status: abgeschlossen Ergebniss: Buch ISBN: 3-8330-0700-1 Ausblick LREC 2004 Workshop "Speech Corpus Production and Validation" H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 3 Zielsetzung: Entwicklung von Software zur Durchführung von Annotationen dezentral über das Internet Status: WebTranscribe ist abgeschlossen und wird auf der LREC 2004 vorgestellt Ergebnisse: Public-Domain-Software WebTranscribe (www.bas.uni-muenchen.de/Bas) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

Public-Domain-Software: WebTranscribe H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 4 Zielsetzung: Neue Methode zur flächendeckenden Erhebung von direkten Aufnahmen durch Client-Software am privaten Rechner Status: fertig gestellt, wird auf der LREC 2004 vorgestellt Ergebnisse: Public-Domain-Software SpeechRecorder (www.bas.uni-muenchen.de/Bas) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 4 H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 5 Zielsetzung: Revalidierung aller Korpora des BAS-Katalogs nach Ergebnissen aus TP2 Status: wird bearbeitet Ergebnisse: Revalidierungsprotokolle publiziert in BAS-Katalog Zusatzleistung: IMDI-Metadaten H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 5 Abgeschlossen: - PhonDat 1 -PD1 - PhonDat 2 -PD2 - Strange Corpus 1 - SC1 - Siemens 100 - SI100 - Regional Variants of German J - RVG-J Noch zu validierende Corpora: 13 H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 6 Zielsetzung: Automatische Analyse von Sprachkorpora Status: wird bearbeitet Munich AUtomatic Segmentation (MAUS): Erweiterung auf iteratives Verfahren (LREC 2004 Vortrag) Konkrete Anwendung: Automatische Segmentierung des Satzkorpus TP8 H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 7 Zielsetzung: Bedarfsstudie für Sprachressourcen und technische Sprachanwendungen Status: Befragungen (online) abgeschlossen Erst Fokus-, dann Hauptgruppenbefragung Publikation in Arbeit H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 7 Expertenbefragung: 31 Teilnehmer Bedarf an Sprachressourcen in 5 bis 15 Jahren: - Korpora mit Fehlern in der Spontansprache (wichtig 30/ unwichtig 1) - Generationenkorpora für unterschiedliche Lebensalter (23/5) - Stellenwert von Emotionen (21/9) - Korpora mit gemischt-sprachlichen Ressourcen (18/3) - Korpora mit Zweitsprach-Ressourcen (18/6) - Sprachinhalte für Kinderdatenbank (diverse) H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 8 Zielsetzung: Frei verfügbare Korpora für Sprachsynthese Status: wird bearbeitet Ergebnisse: 4 Sprecher/innen, Diphon + Unit-Selection Profi-Sprecher nach Auswahlverfahren (45 Kandidaten) ausgewählt H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 8 Pro Sprecher: 2783 Logatome / 1683 Sätze Abgeschlossen: Sprecher 2 und 3 In Bearbeitung: Sprecher 1 und 4 Manuelle Segmentierung Prosodische Annotation H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

TP 9 Zielsetzung: Sprache von Jugendlichen wird an Grundschulen erhoben zwei Altersklassen: 12-18 und 6-12 Jahre Inhalte: gelesene Sprache, Spontansprache (Beschreiben von Bildern/Video-Sequenzen) Aufnahme unter Verwendung des SpeechRecorders (TP 4) Annotation mit Hilfe des Tools aus TP 3 (WebTranscribe) Status: wird bearbeitet H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

BITS Service Firmenberatung Inland: 9 Firmenberatung Ausland: 3 Universitäten/FH Inland: 13 Universitäten Ausland: 5 Präsenz auf SYSTEMS 2002 H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS

Herzlichen Dank für Ihre Aufmerksamkeit H.-G- Tillmann & Florian Schiel: Sprachressourcen – Dienstleistungen BITS