Präsentation von: Ghamdan Atef

Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische Modelle Segment-Länge Ergebnisse Fazit Live Demonstration Zukünftige Arbeit 2

Problem: Beschränkung der Zugänglichkeit von historischen Audio-Ansammlungen Folge: Erschwerte Suche nach bestimmten Inhalten in historischen Reden Lösung: Digitalisierung der Tonaufnahmen Erstellung eines Zeitstempel-Index Einführung von Such-Technologien 3 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Radio Oranje Collection: Sammlung von im Radio ausgestrahlten Reden, die Königin Wilhelmina ( ) während des Zweiten Weltkriegs an das niederländische Volk richtete. 4 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Unzugänglichkeit von Audio-Sammlungen des kulturellen Erbes (z. B. Radio Oranje Collection) durch: I. Speicherung auf analoge Datenträger Verschlechterung der Aufnahmequalität II. Verwendung veralteter Wiedergabe-Geräte Schwierigkeit zu einer schnellen und einfachen Zugriff auf bestimmten Inhalten Frühere Digitalisierungs-Projekte: EU IST PrestoSpace Dutch Beelden Voor De Toekomst 5 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Digitalisierung der Bewahrten Aufnahmen und deren Original- Transkriptionen Bedarf einer schriftlichen Transkription für die Stichwortsuche: Eine Reihe von Stichwörtern z. B. aus einer Redeepisode Generierung von automatischen Zeitstempel- Transkriptionen 6 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Spracherkennung: (was wird gesagt?) Transkriptionen durch vollautomatische Spracherkennung Suboptimal wegen schlechter Tonqualität Alignment: (wo wird etwas gesagt?) Modell: Verwendung einer bereits vollständig transkribierten Sammlung Daten: Angleichung (Alignment) der phonetischen Darstellung des Gesprochenen mit der des Modells. Drei Experimente zur Auswertung von Alignments zwischen Text und Rede 7 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Verwendung derselben Modelle für Alignment und Spracherkennung: geschlechtsunabhängig sprecherunabhängig Verwendete Modelle / Nachrichtensendungen: triphone (kontextabhängige) monophone (kontextunabhängig) Ergebnis: neue sprecherabhängige Modelle Generierung und Evaluierung der letzten akustischen Wilhelmina Modelle 8 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Bei gegebenem Ton das passende akustischen Modell-Segment finden Pruning-Verfahren Ankerpunkte: Verknüpfung Tonband und Transkription an zwei gleichen Positionen Mehr Ankerpunkte: Alignment wird leichter Pruning-Verfahren wird weniger angewendet Einfluss der Segment-Länge auf die Qualität des Alignment 9 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Indirekte Text-Rede-Alignment über phonemischer Darstellung des Textes Orthographische Transkription in phon. Darstellung Phonem auf dem Tonband Sequenz von ak. Modellen Konverter: Background-Wörterbuch Regelbasiertes System Entsprechende Schreibweise und Aussprache Einfluss der Konvertierung aufs Alignment: Vollautomatische Konvertierung Konvertierung mit Referenztext Manuelle phonetische Konvertierung 10 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

11 Ak. Modelle aus monophonen Sendungen um 60% besser als solche aus triphone Sendungen Datenspezifische Modelle sind besser als gewöhnliche Nachrichtensendung en Für jedes der drei ak. Modelle wird die Datenmenge im Hinblick auf die entsp. Divergenz von der Referenztranskription gezeigt. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

12 Gleichgültigkeit der Länge der Segmente beim Wilhelmina- Modell Bei längeren Segmenten aus triphoner N- Sendungen war die benötigte Zeit länger (Reduzierung des Pruning-Verfahren) Alignment Performance als Funktion von Segmentlängen für triphone Nachrichtensendungen Models und die Sprecher-spezifischen Wilhelmina Models. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

13 Modelle aus monophonen Nachrichten- Sendungen Niedriger Einfluss veralteter Schreibweise auf Alignment- Performance Schreib- weise Veränderte Phone (%) Divergenz- Mittelwert (ms) Original055 Modern156 Manuelle Konv. 554 Die Auswirkung von der Grafem-zu-Phonem Konvertierungsmethode auf die Alignment Performance. MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Alignment-Performance ist adäquat für Indezierungsarbeiten Monophone Modelle ergeben bessere Alignment- Performance als triphone Modelle Mit dem richtigen Modell ist die Länge der Segmente relativ belanglos Bei Abweichung des Tonbands vom Modell wurde mehr Zeit beansprucht für ein akzeptables Alignment Graphem-zu-Phomen hat keinen Einfluss aufs Lokalisieren von Wortgrenzen 14 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

15 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Abfrage in moderner Sprache durch den Benutzer Übersetzung von Abfragen in Niederländisch der 1940er Jahre Interaktiven Visualisierung des Audio-Inhalts basierend auf den Zeitstemple-Index Überblick des gesamten Dokuments Detaillierte Überblick über das gerade abgespielte Segment Abspielung ab dem angeklickten Punkt Anzeige der gesprochenen Worte als Untertitel Unterschiedliche Markierung der Suchworte im Untertitel 16 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Fortschritt in der Digitalisierung von historischen Texten, Bildern und Pamphleten Automatische Verlinkung zwischen Dokumenten Anzeige verwandter Dokumente in einer Präsentation Verknüpfung der Inhalte von Medien über die semantische Darstellung jedes Medientyps: Direkt Über ein Lexikon Über eine Ontologie Keine automatische Verlinkung von Radio Oranje Aufnahmen und den entsprechenden Bilder Manuelle Erstellung der Semantische Darstellung von Reden 17 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

18 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Bessere Erforschung der semantischen Übereinstimmung der gesprochenen Worte mit dem Thema. Reduktion der Stichwörter auf ein kontrolliertes Vokabular Verwendung eines Lexikon- oder Ontology- Systems (z. B. Wordnet) Einsatz von Expertenwissen bei bestimmten geschichtlichen Ereignissen 19 MotivationProjekt ErgebnisseFazitDemoZukünftige Arbeit

Radio Oranje: Enhanced Access to a Historical Spoken Word Collection Laurens van der Werff, Willemijn Heeren, Roeland Ordelman & Franciska de Jong University of Twente anje.html 20

Vielen Dank für die Aufmerksamkeit! Fragen? 21