Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische.

Präsentation zum Thema: "Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische."—  Präsentation transkript:

1 Präsentation von: Ghamdan Atef

2 Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische Modelle Segment-Länge Ergebnisse Fazit Live Demonstration Zukünftige Arbeit 2

3 Problem: Beschränkung der Zugänglichkeit von historischen Audio-Ansammlungen Folge: Erschwerte Suche nach bestimmten Inhalten in historischen Reden Lösung: Digitalisierung der Tonaufnahmen Erstellung eines Zeitstempel-Index Einführung von Such-Technologien 3 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

4 Radio Oranje Collection: Sammlung von im Radio ausgestrahlten Reden, die Königin Wilhelmina (1880-1962) während des Zweiten Weltkriegs an das niederländische Volk richtete. 4 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

5 Unzugänglichkeit von Audio-Sammlungen des kulturellen Erbes (z. B. Radio Oranje Collection) durch: I. Speicherung auf analoge Datenträger Verschlechterung der Aufnahmequalität II. Verwendung veralteter Wiedergabe-Geräte Schwierigkeit zu einer schnellen und einfachen Zugriff auf bestimmten Inhalten Frühere Digitalisierungs-Projekte: EU IST PrestoSpace Dutch Beelden Voor De Toekomst 5 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

6 Digitalisierung der Bewahrten Aufnahmen und deren Original- Transkriptionen Bedarf einer schriftlichen Transkription für die Stichwortsuche: Eine Reihe von Stichwörtern z. B. aus einer Redeepisode Generierung von automatischen Zeitstempel- Transkriptionen 6 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

7 Spracherkennung: (was wird gesagt?) Transkriptionen durch vollautomatische Spracherkennung Suboptimal wegen schlechter Tonqualität Alignment: (wo wird etwas gesagt?) Modell: Verwendung einer bereits vollständig transkribierten Sammlung Daten: Angleichung (Alignment) der phonetischen Darstellung des Gesprochenen mit der des Modells. Drei Experimente zur Auswertung von Alignments zwischen Text und Rede 7 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

8 Verwendung derselben Modelle für Alignment und Spracherkennung: geschlechtsunabhängig sprecherunabhängig Verwendete Modelle / Nachrichtensendungen: triphone (kontextabhängige) monophone (kontextunabhängig) Ergebnis: neue sprecherabhängige Modelle Generierung und Evaluierung der letzten akustischen Wilhelmina Modelle 8 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

9 Bei gegebenem Ton das passende akustischen Modell-Segment finden Pruning-Verfahren Ankerpunkte: Verknüpfung Tonband und Transkription an zwei gleichen Positionen Mehr Ankerpunkte: Alignment wird leichter Pruning-Verfahren wird weniger angewendet Einfluss der Segment-Länge auf die Qualität des Alignment 9 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

10 Indirekte Text-Rede-Alignment über phonemischer Darstellung des Textes Orthographische Transkription in phon. Darstellung Phonem auf dem Tonband Sequenz von ak. Modellen Konverter: Background-Wörterbuch Regelbasiertes System Entsprechende Schreibweise und Aussprache Einfluss der Konvertierung aufs Alignment: Vollautomatische Konvertierung Konvertierung mit Referenztext Manuelle phonetische Konvertierung 10 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

11 11 Ak. Modelle aus monophonen Sendungen um 60% besser als solche aus triphone Sendungen Datenspezifische Modelle sind besser als gewöhnliche Nachrichtensendung en Für jedes der drei ak. Modelle wird die Datenmenge im Hinblick auf die entsp. Divergenz von der Referenztranskription gezeigt. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

12 12 Gleichgültigkeit der Länge der Segmente beim Wilhelmina- Modell Bei längeren Segmenten aus triphoner N- Sendungen war die benötigte Zeit länger (Reduzierung des Pruning-Verfahren) Alignment Performance als Funktion von Segmentlängen für triphone Nachrichtensendungen Models und die Sprecher-spezifischen Wilhelmina Models. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

13 13 Modelle aus monophonen Nachrichten- Sendungen Niedriger Einfluss veralteter Schreibweise auf Alignment- Performance Schreib- weise Veränderte Phone (%) Divergenz- Mittelwert (ms) Original055 Modern156 Manuelle Konv. 554 Die Auswirkung von der Grafem-zu-Phonem Konvertierungsmethode auf die Alignment Performance. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

14 Alignment-Performance ist adäquat für Indezierungsarbeiten Monophone Modelle ergeben bessere Alignment- Performance als triphone Modelle Mit dem richtigen Modell ist die Länge der Segmente relativ belanglos Bei Abweichung des Tonbands vom Modell wurde mehr Zeit beansprucht für ein akzeptables Alignment Graphem-zu-Phomen hat keinen Einfluss aufs Lokalisieren von Wortgrenzen 14 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

15 15 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

16 Abfrage in moderner Sprache durch den Benutzer Übersetzung von Abfragen in Niederländisch der 1940er Jahre Interaktiven Visualisierung des Audio-Inhalts basierend auf den Zeitstemple-Index Überblick des gesamten Dokuments Detaillierte Überblick über das gerade abgespielte Segment Abspielung ab dem angeklickten Punkt Anzeige der gesprochenen Worte als Untertitel Unterschiedliche Markierung der Suchworte im Untertitel 16 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

17 Fortschritt in der Digitalisierung von historischen Texten, Bildern und Pamphleten Automatische Verlinkung zwischen Dokumenten Anzeige verwandter Dokumente in einer Präsentation Verknüpfung der Inhalte von Medien über die semantische Darstellung jedes Medientyps: Direkt Über ein Lexikon Über eine Ontologie Keine automatische Verlinkung von Radio Oranje Aufnahmen und den entsprechenden Bilder Manuelle Erstellung der Semantische Darstellung von Reden 17 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

18 http://hmi.ewi.utwente.nl/choral/radiooranje.html 18 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

19 Bessere Erforschung der semantischen Übereinstimmung der gesprochenen Worte mit dem Thema. Reduktion der Stichwörter auf ein kontrolliertes Vokabular Verwendung eines Lexikon- oder Ontology- Systems (z. B. Wordnet) Einsatz von Expertenwissen bei bestimmten geschichtlichen Ereignissen 19 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

20 Radio Oranje: Enhanced Access to a Historical Spoken Word Collection Laurens van der Werff, Willemijn Heeren, Roeland Ordelman & Franciska de Jong University of Twente http://hmi.ewi.utwente.nl/choral/radioor anje.html 20

21 Vielen Dank für die Aufmerksamkeit! Fragen? 21