Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1 PG 520 Intelligence Service – gezielte Informationen aus dem Internet Seminarthema: Hidden Markov Model Von Wei CAI 09.10.2007.

Ähnliche Präsentationen


Präsentation zum Thema: "1 PG 520 Intelligence Service – gezielte Informationen aus dem Internet Seminarthema: Hidden Markov Model Von Wei CAI 09.10.2007."—  Präsentation transkript:

1 1 PG 520 Intelligence Service – gezielte Informationen aus dem Internet Seminarthema: Hidden Markov Model Von Wei CAI

2 2 Ü berblick Markov Models Eins der Erweiterbaren Markov Models => Hidden Markov Model drei klassischen Probleme Forward und Backward-Algorithmus Viterbi-Algorithmus Baum-Welch-Algorithmus

3 3 Markov Models Prozeß bewegt von einem Zustand zu einem anderen, der eine Reihenfolge der Zustände erzeugt Markoveigenschaft: Wahrscheinlichkeit jedes folgenden Zustandes hängt nur von dem vorhergehenden Zustand ab Um Markov Modell zu definieren, müssen die folgenden Wahrscheinlichkeiten spezifiziert werden: die Menge der Zustände Übergangswahrscheinlichkeiten Anfangswahrscheinlichkeiten

4 4 Beispiel von Markov Model Zwei Zustände : Regen and Sonne. Übergangswahrscheinlichkeiten : P(Regen|Regen)=0.3, P(Sonne|Regen)=0.7, P(Regen|Sonne)=0.2, P(Sonne|Sonne)=0.8 Anfangswahrscheinlichkeiten : P(Regen)=0.4, P(Sonne)=0.6. Regen Sonne

5 5 Beispiel von Markov Model Nehmen wir an, dass wir eine Beobachtungsfolge der Zustände in unserem Beispiel errechnen möchten, {' Sonne',,' Sonne',' Regen', Regen'}. P({Sonne,Sonne,Regen, Regen}| Wetter ) = P(Sonne) P(Sonne|Sonne) P(Regen|Sonne) P(Regen|Regen) = 0.6*0.8*0.2*0.3=

6 6 Einführung Zustände Markovkette, Übergangswahrscheinlichkeiten durch stochastische Matrix beschrieben. Zustände selbst nicht sichtbar(d.h. hidden), erzeugen Beobachtungen. Markov eigenschaft

7 7 Einführung Eigenschaften Solide statistische Grundlage lernen möglich Modular, d.h. Gut erweiterbar, leicht zu verknüpfen Anwendungsgebiete Bioinformatik z.B. Gen-vorhersage, neurobiologie Datamining z.B. Named Entity Recognition Spracherkennung, Mustererkennung

8 8 Definition ein HMM als Fünftupel λ = (S,A,B,π,V) mitFünftupel : die Menge der Zustände, die Zustandsvariable annehmen kann : das Ausgabealphabet, das die Beobachtungsfolge annehmen kann π : die Menge der anfangswahrscheinlichkeiten mit Wahrscheinlichkeit, dass der Startzustand ist

9 9 Definition : Zustandsübergangsmatrix, wobei die Wahrscheinlichkeit angibt, dass vom Zustand zum Zustand gewechselt wird : die Menge der Ausgabe- wahrscheinlichkeiten Wahrscheinlichkeit im Zustand die Beobachtung k zu machen

10 10 Realisierung einer Beobachtungs- folge Gegeben: N, M, A, B, π wähle Anfangszustand entsprechend Anfangszustandverteilung π Setze t = 1 Wähle entsprechend W-keitsverteilung der Beobachtungssymbole im Zustand, Wechsle in den nächsten Zustand entsprechend übergangswahrscheinlichkeitsverteilung für Zustand setze t = t + 1, wiederhole Schritt 3, falls t < T, sonst endet dies Verfahren

11 11 Beispiel von HMM niedrig hoch Sonne Regen

12 12 Beispiel von HMM Zwei Zustände : niedrig oder hoch Luftdruck Zwei Beobachtungen : Regen and Sonne Übergangswahrscheinlichkeiten : P(niedrig|niedrig)=0.3, P(hoch|niedrig)=0.7, P(niedrig|hoch)=0.2, P(hoch|hoch)=0.8 Ausgabewahrscheinlichkeiten : P(Regen|niedrig)=0.6, P(Sonne|niedrig)=0.4, P(Regen|hoch)=0.4, P(Sonne|hoch)=0.3 anfangswahrscheinlichkeiten : P(niedrig)=0.4, P(hoch)=0.6

13 13 Beispiel von HMM Nehmen wir alle mögliche Sequenze der versteckten Zustände an: P({Sonne,Regen} ) = P({Sonne,Regen}, {niedrig,niedrig}) + P({Sonne,Regen}, {niedrig,hoch}) + P({Sonne,Regen}, {hoch,niedrig}) + P({Sonne,Regen}, {hoch,hoch}) Im ersten Term P({Sonne,Regen}, {niedrig,niedrig})= P({Sonne,Regen} | {niedrig,niedrig}) P({niedrig,niedrig}) = P(Sonne|niedrig)P(Regen|niedrig) P(niedrig)P(niedrig|niedrig) = 0.4*0.6*0.4*0.3 =

14 14 Problemstellungen 1.gegeben Modellλ = (A,B,π) soll die wahrschlichkeit einer speziellen Ausgabesequenz bestimmt werden. 2.gegeben Modellλ = (A,B,π) soll die wahrscheinlichste Sequenz der versteckten Zustände bestimmt werden, die eine vorgegebene Ausgabesequenz erzeugt hat. 3.gegeben eine Beobachtungsfolge sollen die Übergangs/Ausgabe- Wahrscheinlichkeiten des HMM bestimmt werden, durch die am wahrscheinlichsten die Ausgabesequenz erzeugt wird. => Named Entity Recognition

15 15 Evaluationsproblem nutzt Forward-Backward Algorithms für effiziente Berechnung Die Forward-Variable, d.h. die Wahrscheinlichkeit zum Zeitpunkt t bei gegebener Beobachtung im Zustand zu sein, ist Die Forward-Variable wird zusammen mit der Backward- Variable für den Baum-Welch-Algorithmus zur Lösung des mit HMM gegebenen Lernproblems benötigt.Baum-Welch-Algorithmus :

16 16 Matrix von einem HMM o 1 o t o t+1 o T = Beobachtungen t = 1 t t+1 T s1s1 s2s2 sisi sNsN s1s1 s2s2 sisi sNsN a2ja2j a 1j a ij a Nj s1s1 s2s2 sjsj sNsN s1s1 s2s2 sisi sNsN

17 17 Forward Rekursion Initialisierung Induktion Terminierung :

18 18 Backward Rekursion Initialisierung Induktion Terminierung :

19 19 Decodierungsproblem Gesucht: optimale Zustandsfolge an der Beobachtungsfolge anpäßt, dann Anzahl der Korrekten Zustände maximieren Mit dem Viterbi-Algorithmus lösbar

20 20 Viterbi-Algorithmus s1s1 sisi sNsN sjsj a ij a Nj a 1j q t -1 q t Idee war, wenn optimalen Weg im q t = s j endet und über q t-1 = s i durchgegangen ist, soll die Zustandsfolge dann auch mit dem optimalen Weg im q t-1 = s i zum Schluss sein können. Induktion:

21 21 Viterbi-Algorithmus Initialisierung Induktion Terminierung: optimaler Weg zum Zeitpunkt T endet Zustandsfolge zurückverfolgen.

22 22 Lernproblem Zu gegebener endlicher Beobachtungssequenz gibt es keinen optimalen Weg, die Modellparametern abzuschätzen. hier nutzt expectation-maximization Algorithmus(Baum-Welch-Algorithmus), dadurch local maximum von P(O | M) gefunden werden kann.

23 23 Baum-Welch-Algorithmus Methode zur Bestimmung neuer Parameter eines HMM

24 24 Baum-Welch-Algorithmus(E1) Im Zustand s i zum Zeitpunkt t und im Zustand s j zum Zeitpunkt t+1, die Beobachtungsfolge o 1, o 2,..., o t. t (i,j)= P(q t = s i, q t+1 = s j | o 1 o 2... o T ) P(q t = s i, q t+1 = s j, o 1 o 2... o T ) P(o 1 o 2... o T ) t (i,j)= = P(q t = s i, o 1 o 2... o T ) a ij b j (o t+1 ) P(o t+2... o T | q t+1 = s j ) P(o 1 o 2... o k ) t (i) a ij b j (o t+1 ) t+1 (j) i j t (i) a ij b j (o t+1 ) t+1 (j)

25 25 Baum-Welch-Algorithmus(E2) Definiert Variable t (i) als die W-keit im Zustand s i zum Zeitpunkt t, die Beobachtungsfolge o 1 o 2... o t. t (i)= P(q t = s i | o 1, o 2,... o t ) t (i)= P(q t = s i, o 1 o 2... o t ) P(o 1 o 2... o t ) = t (i) t (i) i t (i) t (i)

26 26 Baum-Welch-Algorithmus(E3) berechnet t (i,j) = P(q t = s i, q t+1 = s j | o 1 o 2... o T ) und t (i)= P(q k = s i | o 1 o 2... o T ) erwarteter Wert der Übergange von Zustand s i nach Zustand s j = t t (i,j) erwarteter Wert der Übergänge ausserhalb des Zustands s i = t t (i) erwarteter Wert des v m im Zustand s i = t t (i), also o t = v m erwartete Anfangswahrscheinlichkeit im Zustand s i zum Zeitpunt t=1: 1 (i).

27 27 Baum-Welch-Algorithmus(Max) a ij = k k (i,j) k k (i) b i (v m ) = k k (i,j) k,o k = v m k (i) i = ( im Zustand s i zum Zeitpunkt t=1) = 1 (i).


Herunterladen ppt "1 PG 520 Intelligence Service – gezielte Informationen aus dem Internet Seminarthema: Hidden Markov Model Von Wei CAI 09.10.2007."

Ähnliche Präsentationen


Google-Anzeigen