Hidden Markov Models (HMM) Karin Haenelt 16.5.2009

Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models © Karin Haenelt, Hidden Markov Models, 16.5.2009

Was sind Hidden Markov Models? Ein Hidden Markov Model (HMM) ist ein stochastisches Modell auch beschreibbar als Variante eines endlichen Automaten Theoretische Basis: Markow-Ketten Vorteile direkt aus annotierten Daten (z.B. Text-Corpora mit Metadaten) ableitbar Eigenschaften der Daten und Verarbeitungsverfahren nach stochastischen Gesetzmäßigkeiten trainierbar und optimierbar Nachteil nicht-deterministisch © Karin Haenelt, Hidden Markov Models, 16.5.2009

Was ist ein Hidden Markov Model ? nomn auxv part wir werden geschickt .3 .4 .2 Eine Variante eines endlichen Automaten mit einer Menge von Zuständen Q einem Ausgabealphabet O Übergangswahrscheinlichkeiten A Ausgabewahrscheinlichkeiten B Startwahrscheinlichkeiten Π .3 x .2 x .4 x .3 x .2 x .4 =0.000576 Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures © Karin Haenelt, Hidden Markov Models, 16.5.2009

Was ist ein Hidden Markov Model ? Der aktuelle Zustand kann nicht beobachtet werden Nur die Ausgaben eines Zustandes können beobachtet werden nomn auxv part wir werden geschickt .3 .4 .2 .3 x .2 x .4 x .3 x .2 x .4 =0.000576 Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: nomn auxv part wir werden geschickt .3 .4 .2 nomn kopv adje wir werden geschickt .3 .2 .5 .3 x .2 x .4 x .3 x .2 x .4 =0.000576 .3 x .2 x .3 x .5 x .2 x .2 =0.000360 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Anwendungsgebiete von Hidden Markov Models Mit Hilfe von Hidden Markov Models lassen sich zu beobachteten Daten Metadatenmuster auffinden Data Mining: Erkennung von Mustern in Datenbeständen Spracherkennung Part-of-Speech-Tagging Bildverarbeitung Bioinformatik Gestenerkennung Psychologie … © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model Hidden Markov Models (HMM) sind stochastische Modelle, die auf Markow-Ketten beruhen © Karin Haenelt, Hidden Markov Models, 16.5.2009

Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models © Karin Haenelt, Hidden Markov Models, 16.5.2009

Wahrscheinlichkeitsraum Modell zur Beschreibung von Zufallsexperimenten ein Wahrscheinlichkeitsraum ist ein Tripel eine beliebige Menge F eine σ-Algebra P ein Wahrscheinlichkeitsmaß © Karin Haenelt, Hidden Markov Models, 16.5.2009

σ-Algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem über Ω mit folgenden Eigenschaften Brants,Crocker,Lieblang, 2000 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Wahrscheinlichkeitsmaß eine Abbildung mit den Eigenschaften © Karin Haenelt, Hidden Markov Models, 16.5.2009

Komponenten des Wahrscheinlichkeitsraumes Bezeichnung Erläuterung (Ω,F,P) Wahrscheinlichkeitsraum Ω Ergebnismenge, Grundgesamtheit Menge aller Elementarereignisse σ-Algebra über Ω Ereignisraum Menge aller möglichen Ereignisse; Nicht notwendigerweise jede Teilmenge von Ω, mindestens Ω als sicheres Ereignis  als unmögliches Ereignis ω  σ-Algebra über Ω Ereignis © Karin Haenelt, Hidden Markov Models, 16.5.2009

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1 Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {a,b,c} σ-Algebra über Ω Ereignisraum { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } ω σ-Algebra über Ω Ereignis © Karin Haenelt, Hidden Markov Models, 16.5.2009

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel) Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {rot,gelb,grün} σ-Algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} } ω  σ-Algebra über Ω Ereignis {} © Karin Haenelt, Hidden Markov Models, 16.5.2009

Stochastischer Prozess Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X1,X2,…Xi  Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet Brants, 1999: 30 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Stochastischer Prozess Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet) πi = P(X1=si) die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt = xt) Brants, 1999: 30 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Stochastischer Prozess: Beispiel Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X1 das Wort zum ersten Beobachtungszeitpunkt X2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xt unabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist. Es gilt P(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern Brants,Crocker,Lieblang, 2000:22 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Endliche Markow-Kette Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess „ohne Gedächtnis“ mit endlich vielen Zuständen entspricht den Eigenschaften eines endlichen Automaten Brants, 1999: 31 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung … Kunze, 2001 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette: Matrix-Darstellung kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A Anfangswahrscheinlichkeiten Π Manning/Schütze, 2000: 318 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow Model: Definition © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette: Graph-Darstellung kann beschrieben werden durch Zustandsübergangsgraphen wir werden geschickt .3 .4 .2 .5 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit Wahrscheinlichkeit der Sequenz der Zustände X1 … XT für eine Markow-Kette gilt: Manning/Schütze, 2000: 320 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X1 … XT © Karin Haenelt, Hidden Markov Models, 16.5.2009

Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Modell (HMM): Beschreibung Ein Hidden Markov Model ist ein Markow-Modell bei dem nur die Sequenz der Ausgaben beobachtbar ist, die Sequenz der Zustände verborgen bleibt Es kann mehrere Zustandssequenzen geben, die dieselbe Ausgabe erzeugen © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: nomn auxv part wir werden geschickt .3 .4 .2 nomn kopv adje wir werden geschickt .3 .2 .5 .3 x .2 x .4 x .3 x .2 x .4 =0.000576 .3 x .2 x .3 x .5 x .2 x .2 =0.000360 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Definition Rabiner, 1989, S. 260/261 © Karin Haenelt, Hidden Markov Models, 16.5.2009 Manning/Schütze, 2000: 318-324

Ein Hidden Markov Model Übergangsmatrix Emissionsmatrix Startwahrscheinlichkeit Xt Xt+1 ot π Adje AuxV KopV Nomn Part geschickt werden wir ... .2 .1 .4 .8 .3 .7 .5 .6 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Gewinnung der Daten – Übersicht Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Gewinnung der Daten (1) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Gewinnung der Daten (2) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile © Karin Haenelt, Hidden Markov Models, 16.5.2009

Hidden Markov Model: Gewinnung der Daten (3) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile © Karin Haenelt, Hidden Markov Models, 16.5.2009

Drei grundlegende Aufgaben, die mit HMMs bearbeitet werden Dekodierung: Wahrscheinlichkeit einer Beobachtung finden brute force Forward-Algorithmus / Backward-Algorithmus Beste Pfad-Sequenz finden Viterbi-Algorithmus Training: Aufbau des besten Modells aus Trainingsdaten Manning/Schütze, 2000: 325 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Algorithmen für Hidden Markov Models Note: Computing a model given sets of sequences of observed outputs is very difficult, since the states are not directly observable and transitions are probabilistic. One method is the Baum Welch algorithm. Although the states cannot, by definition, be directly observed, the most likely sequence of sets for a given sequence of observed outputs can be computed in O(nt), where n is the number of states and t is the length of the sequence. One method is the Viterbi algorithm. Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures © Karin Haenelt, Hidden Markov Models, 16.5.2009

A1: Wahrscheinlichkeit einer Beobachtung finden gegeben: eine Sequenz von Beobachtungen O=(wir,werden,geschickt) ein Modell gesucht: die Wahrscheinlichkeit Adje AuxV KopV Nomn Part g‘schickt werden wir .. Adje .2 .1 .1 .4 .2 .2 .8 .3 AuxV .2 .3 .1 .2 .2 .3 .7 .2 KopV .2 .2 .1 .4 .1 .5 .5 .1 Nomn .1 .4 .3 .1 .1 .2 .8 .3 Part .3 .1 .2 .1 .3 .4 .6 .1 © Karin Haenelt, Hidden Markov Models, 16.5.2009

A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force Für alle möglichen Zustandsfolgen Berechnung der Wahrscheinlichkeit der Beobachtungen Summierung der Wahrscheinlichkeiten state transition symbol emission vgl. Rabiner, 1989, S. 260/261 vgl. Manning/Schütze, 2000: 326 © Karin Haenelt, Hidden Markov Models, 16.5.2009

A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force: Beispiel P(wir,werden,geschickt | Adje Adje Adje, μ) + P(wir,werden,geschickt | Adje Adje AuxV, μ) + … + P(wir,werden,geschickt | Nomn AuxV Part, μ) + P(wir,werden,geschickt | Nomn KopV Adje, μ) + P(wir,werden,geschickt | Part Part Part, μ) = … =0.0 .3 x .2 x .4 x .3 x .2 x .4 =0.000576 .3 x .2 x .3 x .5 x .2 x .2 =0.000360 =0.0 =0.000936 © Karin Haenelt, Hidden Markov Models, 16.5.2009

A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force: Effizienz Lösungsweg ist hoffnungslos ineffizient Benötigt im allgemeinen Fall, d.h. - Start in jedem Zustand möglich, - Jeder Zustand kann auf jeden folgen (2T -1) x NT Multiplikationen T Anzahl der Beobachtungen O N Anzahl der Zustände vgl. Rabiner, 1989, S. 260/261 vgl. Manning/Schütze, 2000: 326 © Karin Haenelt, Hidden Markov Models, 16.5.2009

A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 2: Vorwärts- und Rückwärts-Verfahren Forward procedure Backward procedure Merken partieller Ergebnisse statt Wiederholter Berechnung Manning/Schütze, 2000: 326ff © Karin Haenelt, Hidden Markov Models, 16.5.2009

A2: Beste Pfadsequenz finden gegeben: eine Sequenz von Beobachtungen O=(wir,werden,geschickt) ein Modell gesucht: die wahrscheinlichste Pfadsequenz Adje AuxV KopV Nomn Part g‘schickt werden wir .. Adje .2 .1 .1 .4 .2 .2 .8 .3 AuxV .2 .3 .1 .2 .2 .3 .7 .2 KopV .2 .2 .1 .4 .1 .5 .5 .1 Nomn .1 .4 .3 .1 .1 .2 .8 .3 Part .3 .1 .2 .1 .3 .4 .6 .1 © Karin Haenelt, Hidden Markov Models, 16.5.2009

A2: Beste Pfadsequenz finden Lösungsweg 1: brute force: Wie in [A1]: alle Varianten berechnen die wahrscheinlichste auswählen hoffnungslos ineffizient Lösungsweg 2: beste Einzelzustände Für jeden Zeitpunkt t Zustand mit höchster Ausgabewahrscheinlichkeit auswählen Zusammensetzung kann unwahrscheinliche Sequenzen ergeben © Karin Haenelt, Hidden Markov Models, 16.5.2009

A2: Beste Pfadsequenz finden Lösungsweg 3: Viterbi-Algorithmus Speichert für jeden Zeitpunkt t die Wahrscheinlichkeit des wahrscheinlichsten Pfades, der zu einem Knoten führt wir|Adje werden|Adje geschickt|Adje wir|AuxV werden|AuxV geschickt|AuxV wir|KopV werden|KopV geschickt|KopV wir|Nomn werden|Nomn geschickt|Nomn wir|Part werden|Part geschickt|Part © Karin Haenelt, Hidden Markov Models, 16.5.2009

A3: Training der Modellparameter gegeben: eine Sequenz von Beobachtungen In einem Trainingscorpus gesucht: ein Modell, das für die beobachteten Sequenzen im Trainingscorpus die maximalen Wahrscheinlichkeiten erzeugt Manning/Schütze, 2000: 333ff © Karin Haenelt, Hidden Markov Models, 16.5.2009

A3: Training der Modellparameter Lösung: Baum-Welch oder Forward-backward-Algorithmus Manning/Schütze, 2000: 333ff © Karin Haenelt, Hidden Markov Models, 16.5.2009

Formen von Hidden Markov Models: Emissionen auf den vorangehenden Folien wurde ein State Emission Model verwendet den allgemeinen Fall stellt ein Arc Emission Model dar ein State Emission Model kann in ein Arc Emission Model überführt werden, umgekehrt ist dies nicht immer möglich auf den folgenden Folien wird ein Arc Emission Model beschrieben © Karin Haenelt, Hidden Markov Models, 16.5.2009

Formen von Hidden Markov Models: Emissionen Allgemeine Form: Arc Emission Model Zur Zeit t emittiertes Symbol hängt ab von Zustand zur Zeit t und Zustand zur Zeit t+1 Spezielle Form: State Emission Model Zur Zeit t emittiertes Symbol hängt ab von Zustand zur Zeit t t t+1 o t t+1 o © Karin Haenelt, Hidden Markov Models, 16.5.2009

Formen von HMM: Emissionen: Beispiel Arc Emission Model State Emission Model .2 .2 auxv part auxv part werden .3 werden .65 haben .4 haben .25 sein .3 sein .10 .2 verb werden .95 haben .05 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Arc Emission Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: .3 .3 .3 .2 .1 .3 .2 .1 nomn auxv part punkt nomn kopv adje punkt .2 .3 .4 .2 .5 .2 wir werden geschickt wir werden geschickt .3 x .3 x .2 x .2 x .3 x .1 x .4 = 0.0000432 .3 x .3 x .2 x .2 x .5 x .1 x .2 = 0.000036 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Arc Emission Model: Darstellung als Wahrscheinlichkeitsmatrix © Karin Haenelt, Hidden Markov Models, 16.5.2009

Arc Emission Model: Spezialfall: State Emission Model Wenn die Emissionsverteilungen für alle Übergänge aus einem Zustand identisch sind, entspricht dies einem State Emission Modell © Karin Haenelt, Hidden Markov Models, 16.5.2009

Arc Emission Model: Definition Manning/Schütze, 2000: 318-324 © Karin Haenelt, Hidden Markov Models, 16.5.2009

Formen von Hidden Markov Models: Verbindungen zwischen Zuständen ergodic model: jeder Zustand kann von jedem in einer endlichen Anzahl von Schritten erreicht werden: andere Arten z.B. in der Verarbeitung gesprochener Sprache verwendet © Karin Haenelt, Hidden Markov Models, 16.5.2009 Rabiner, 1989, S. 266

Vielen Dank Für das Aufspüren von Fehlern in früheren Versionen und Hinweise zur Verbesserung danke ich Wiebke Petersen © Karin Haenelt, Hidden Markov Models, 16.5.2009

Literatur Allen, James (1995): Natural Language Understanding. 2nd edition. Addison-Wesley Publishing Co. Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures [online], Paul E. Black, ed., U.S. National Institute of Standards and Technology. 14 August 2008. (accessed 16.5.2009) Available from: http://www.itl.nist.gov/div897/sqg/dads/HTML/hiddenMarkovModel.html Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. http://www.coli.uni-saarland.de/~thorsten/stat00/skript.ps.gz Haenelt, Karin: Der Viterbi-Algorithmus. Eine Erläuterung der formalen Spezifikation am Beispiel des Part-of-Speech Tagging. Kursskript. 11.05.2002 http://kontext.fraunhofer.de/haenelt/kurs/folien/Viterbi-Tutor.doc http://kontext.fraunhofer.de/haenelt/kurs/folien/Viterbi-Tutor.htm Kunze, Jürgen (2001). Computerlinguistik I: Erkennung und Synthese gesprochener Sprache. Vorlesungsskript. Humboldt-Universität zu Berlin. http://kontext.fraunhofer.de/haenelt/eBooks/Kunze/SpeechSkript/ © Karin Haenelt, Hidden Markov Models, 16.5.2009

Literatur Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www.sultry.arts.usyd.edu.au/fsnlp) Rabiner, Lawrence R. (1989). A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. In: Proceedings of the IEEE, Vol. 77, No. 2, February. http://www.ece.ucsb.edu/Faculty/Rabiner/ece259/Reprints/tutorial%20on%20hmm%20and%20applications.pdf © Karin Haenelt, Hidden Markov Models, 16.5.2009