Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Bayes Netze Seminar: Transkription in Sprachsynthese und -erkennung Vortragender: Thomas Jach.

Ähnliche Präsentationen


Präsentation zum Thema: "Bayes Netze Seminar: Transkription in Sprachsynthese und -erkennung Vortragender: Thomas Jach."—  Präsentation transkript:

1 Bayes Netze Seminar: Transkription in Sprachsynthese und -erkennung Vortragender: Thomas Jach

2 Überblick Bayes Grundlagen Wahrscheinlichkeitstheoretischer Ansatz zur Erkennung von Sprache Ermitteln von Phonemwahrscheinlich- keiten durch Bayes Netze Experimentelle Ergebnisse und Vergleiche

3 Bayes Grundlagen Thomas Bayes 1702 – 1761 Englischer Mathematiker Bayes Theorem

4 Bayes Grundlagen Durch Bayes Theorem kann direkte Beziehung zwischen den Wahrscheinlichkeiten, daß Hypothese eintrifft, wenn Vorbedingung erfüllt, und daß Vorbedingungen eintreffen, wenn Hypothese erfüllt, hergestellt werden

5 Bayes Grundlagen Bayes Theorem P(h) = a priori Wahrscheinlichkeit einer Hypothese P(D) = a priori Wahrscheinlichkeit einer Bedingung P(h|D) = Wahrscheinlichkeit von h gegeben D P(D|h) = Wahrscheinlichkeit von D gegeben h

6 Bayes Grundlagen Magenprobleme (mp) Gebell (gb) Hund draussen (hd) Licht aus (la) Familie weg (fw) P(fw) =15% P(mp) = 1% P(la|fw) = 60% P(la|nicht fw) = 5% P(hd|fw,mp) = 99% P(hd|fw,nicht mp) = 90% P(hd|nicht fw,mp) = 97 % P(hd|nichtfw,nicht mp) = 30% P(gb|hd) = 70% P(gb|nicht hd) = 1 %

7 Bayes Grundlagen Modellierung von voneinander abhängigen bedingten Wahrscheinlichkeiten und Unabhängigkeiten durch einen Graphen –Bayes Netz Zufallsvariablen werden dabei zu Knoten Wahrscheinlichkeiten werden zu Knotenbeschriftungen Gerichtete Kanten zwischen von einander abhängigen Knoten

8 Bayes Grundlagen Modellierung von komplexen Sachverhalten mit Hilfe von wenigen Parametern möglich Bayes Netze typischerweise relativ klein im Vergleich zu Entscheidungsbäumen oder herkömmlichen neuronalen Netzen

9 Bayes Grundlagen Bayes Netze verhalten sich ähnlich der Entscheidungsfindung eines menschlichen Experten z.B. Ärzten bei einer Diagnose Bayes Netze können durch Experten manuell erstellt werden, oder auch vollständig oder teilweise automatisch trainiert werden (derzeitig intensives Forschungsgebiet)

10 Phonemerkennung Formalisierung des Problems der Phonemerkennung: s = argmax s P(O|s,w)P(s|w) 2 Stufiger Prozess: –Erzeugen der Aussprache s eines Wortes w mit seiner Wahrscheinlichkeit –Auffinden der Phonemsequenz s, die P(O|s,w) optimiert O ist dabei eine Sequenz von akustischen Beobachtungen

11 Phonemerkennung Im weiteren wird sich auf den 1. Schritt konzentriert –Automatische Transkription mit Hilfe von Bayes Netzen –> Transkription somit dynamisch durch die Anwendung anpassbar Approximative Lösung durch Wahrscheinlichkeiten sinnvoll, um auch unbekannte Wörter einfach klassifizieren zu können.

12 Bayes Netze Wort w = α 1 α 2..α m Grapheme Aussprache s = β 1 β 2..β n Phoneme Es gilt: P(s|w) = P (β 1 β 2..β n | α 1 α 2..α m ) P(β i | α 1 α 2..α m ) P(β i | β i-1 …β 1 ) –P(β i | β i-1 …β 1 ) Wahrscheinlichkeit der Auswahl von β i unter Berücksichtung der vorherigen Phoneme –P(β i | α 1 α 2..α m ) Wahrscheinlichkeit der Auswahl von β i unter Berücksichtigung einer bestimmten Anzahl von umgebenden Graphemen.

13 Bayes Netze Phonemkontext P(β i | β i-1 …β 1 ) kann in unserer weiteren Betrachtung vernachlässigt werden. bzw. wird in den experimentellen Ergebnissen später im Vortrag nur durch den verkürzten Kontext P(β i | β i-1 ) berücksichtigt. Eine weitere Erhöhung würde nicht mehr zu einer signifikanten Erhöhung der Erkennungsleistung führen

14 Bayes Netze Lösung des Problems P(β i | α 1,α 2,..,α m ) mit Hilfe von Bayes Netzen. Wir verwenden dafür einen Kontext von 7 Graphemen α i-3, …,α i,..,α i+3 Beim Design der Bayes Netze gehen wir von der Annahme aus, daß Grapheme in relativer Nähe zum betrachteten Graphem α i größere Auswirkung auf dessen Aussprache haben.

15 Bayes Netze A B C D E P(a|p,a) = 0.01% …. P(z|p,a) = 0.02% P(a|p,b) = 0.002% ….. … P(z|p,b) = 0.03 % P(a|b,a) = % ….

16 Experimentelle Ergebnisse Lernen der Wahrscheinlichkeiten mit Hilfe des CMU-Wörterbuches mit Wörtern Bei Kontext von 7 ergeben sich Segmente von denen trainiert wurden, mit dem Rest wurde getestet 3 fache Iteration des Trainings durch manuelle Korrektur der falsch erkannten Phoneme und Neuberechnung der Wahrscheinlichkeiten

17 Experimentelle Ergebnisse Netze1.Versuch2.Versuch3.Versuch A Test Train C Test Train Naiv B D E

18 Experimentelle Ergebnisse Entscheidung sbaum 1.Versuch2.Versuch3.Versuch Pruned Test Train Nicht Pruned Test Train

19 Experimentelle Ergebnisse -Training der Netze eventuell sehr aufwendig -Effektives lösen von Bayes Netzen meistens nur approximativ möglich Trifft in konkretem Beispiel aber nicht zu, da verwendete Bayes Netze relativ klein, und Struktur in den meisten Fällen bekannt

20 Experimentelle Ergebnisse +Bayes Netze haben eine höhere Erkennungsleistung für unbekannte Wörter als Entscheidungsbäume vergleichbarer Komplexität +Bayes Netze benötigen durch ihre Struktur weniger Speicher als Entscheidungsbäume mit gleicher Erkennungsleistung +Bayes Netze benötigen weniger Rechenzeit als Entscheidungsbäume (ein erhöhter Kontext würde in der Praxis wesentlich schneller zu einem nicht mehr berechenbaren Baum führen)


Herunterladen ppt "Bayes Netze Seminar: Transkription in Sprachsynthese und -erkennung Vortragender: Thomas Jach."

Ähnliche Präsentationen


Google-Anzeigen