Alignments mit Hidden Markov Modellen

Wofür sind HMMs gut? Gehört eine Sequenz zu einer bestimmten Familie? Falls eine Sequenz aus einer Familie stammt, was kann man über ihre interne Struktur sagen?

Markov Kette Modell zum Generieren von Sequenzen Die Wahrscheinlichkeit für das Auftreten eines Symbols hängt nur vom Vorgängersymbol ab Wie wahrscheinlich ist eine Sequenz / Nukleotidfolge

Markov Kette Beispiel für DNA:

Markov Kette Transitionswahrscheinlichkeit: r st = P(x i = t | x i-1 = s) Wahrscheinlichkeit einer Sequenz: P(x) = P(x L | x L-1 )*P(x L-1 | x L-2 )*.. *P(x 2 | x 1 )*P(x 1 ) = P(x 1 )П i=2 r x i-1 x i

Markov Kette Beginzustand x 0 = B mit: P(x 1 = s) = r Bs Endzustand x L+1 = E mit: P(E | x L = t) = r tE

Hidden Markov Model Keine 1 zu 1 Übereinstimmung von Zuständen und generierten Symbolen Einbettung von Markov Ketten in die Zustände Es gibt bestimmte vordefinierte Wahrscheinlichkeiten, dass ein Zustandübergang erfolgt Sei e k (b) = P(x i = b | π i-1 = k) die WK, dass Symbol b im Zustand k auftritt (wobei π die Zustandsequenz ist)

HMM Beispiel: unfaires Casino:

HMM Beispiel: unfaires Casino: Problem: Wie findet man die richtige (wahrscheinlichste) Zustandssequenz, die der vorliegenden Symbolsequenz zugrunde liegt?

Viterbi Algorithmus Beispiel: CpG - Inseln Das Auftreten einer bestimmten Base (A, T, G, C) an einer bestimmten Stelle ist nicht gleich wahrscheinlich In bestimmten DNA-Bereichen: Hohe Wahrscheinlichkeit, dass C zu einem T mutiert Somit kleinere Wahrscheinlichkeit, dass ein C vor einem G steht Es gibt allerdings Regione in welchen die Mutationswahrscheinlichket (von C zu T) deutlich kleiner ist (zum Beispiel bei den Startregionen diverser Gene)

Viterbi Algorithmus Beispiel: CpG - Inseln Markov Kette

Viterbi Algorithmus Beispiel: CpG - Inseln Verschiedene Wahrscheinlichkeiten für das Auftreten eines Symbols (A, T, G, C), je nach dem ob es innerhalb (+ Modell) oder ausserhalb (- Modell) der CpG – Inseln stattfindet Daraus leitet sich die WK r st für jedes dieser beiden Modelle: r st + = c st + / t` c st` + r st - = c st - / t` c st` - (wobei c st die Anzahl der Fälle in welchen Symbol t Symbol s folgte ist) r st + und r st - statistisch ermittelbar

Viterbi Algorithmus +ACGT-ACGT A A C C G G T T

Viterbi Algorithmus Beispiel: CpG – Inseln HMM

Viterbi Algorithmus Ein rekursiver Algorithmus zum Finden des wahrscheinlichsten Pfades π* (mit π* = argmaxP(x, π)) Sei v k (i) die WK eines wahrscheinlichsten Pfades, der in Zustand k endet mit Beobachtung i Sei v k (i) bekannt für alle i, dann für i+1 gilt: v l (i+1) = e l (x i+1 )max(v k (i)r kl )

Viterbi Algorithmus Versteckte Zustände Beobachtete Zustände Initiale WK eines Anfangszustandes SonneFußball spielenSonne0.63 WolkenSpazierenWolken0.17 RegenPutzenRegen0.20 -Lesen--

Viterbi Algorithmus Wetter heute Wetter gestern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Versteckte Zustände FußballSpazierenPutzenLesen Sonne Wolken0.25 Regen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.25

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.500

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.500*0.15

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.500*

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.375

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.375*0,

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne0.378 Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.125*

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen Max(0.028, 0.002, ) = 0.028

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen Max(0.028, 0.002, ) = 0.028

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.25*

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.125*

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken0.042 Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen *0.675*

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen Max(0.023, 0.001, 0.001) = 0.023

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen0.010 Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen

Viterbi Algorithmus FußballPutzenLesen Sonne Wolken Regen Wetter heute Wetter Ges tern SonneWolkenRegen Sonne Wolken Regen Beobachtete Zustände Verst. Zust. Fuß ball Spazi eren Pu tzen Lesen Sonne Wolken0.25 Regen WK für Anfangszustand SonneWolkenRegen Max(0.407, 0.416, 0.417) = 0.417

Viterbi Algorithmus

Initialisierung (i = 0): v 0 (0) = 1, v k (0) = 0 für alle k > 0 Rekursion (i = 1..L): v l (i) = e l (x i )max k (v k (i-1)r kl ) ptr i (l) = argmax k (v k (i-1)r kl ) Terminierung: P(x, π*) = max k (v k (L)r k0 ) π* L = argmax k (v k (L)(r k0 ) Backtracking (i = L..1): π* i-1 = ptr i (π* i)

Paarweises Alignment mit HMM F(i-1, j-1)F(i, j-1) F(i-1, j) F(i,j) = max[F(i-1,j-1)+s(x i,y j ), F(i-1,j)-d, F(i,j-1)-d] +s(x i, y j ) -d

Paarweises Alignieren mit HMM Alignment mit affinen Gapkosten: Optimaler score für ein Alignment von x 1..x i und y 1..y j, der keinen Gap am Ende hat M(i,j) = max[M(i-1,j-1)+s(x i,y j ), I x (i-1,j-1)+s(x i,y j ), I y (i-1,j-1)+s(x i,y j )] Optimaler score für ein Alignment von x 1..x i und y 1..y j, wo am Ende x mit einen Gap aligniert wird I x (i,j) = max[M(i-1,j)-d, I x (i-1,j)-e] Optimaler score für ein Alignment von x 1..x i und y 1..y j, wo am Ende y mit einen Gap aligniert wird I y (i,j) = max[M(i,j-1)-d, I y (i,j-1)-e] L G A x i L G V y j L G A x i L G _ y j L G _ x i L G V y j

Paarweises Alignieren mit HMM Alignment mit affinen Gapkosten: M(i,j) = max[M(i-1,j-1)+s(x i,y j ), I x (i-1,j-1)+s(x i,y j ), I y (i-1,j-1)+s(x i,y j )] I x (i,j) = max[M(i-1,j)-d, I x (i-1,j)-e] I y (i,j) = max[M(i,j-1)-d, I y (i,j-1)-e] A|A|C| |A|ATTCCG|A|C|T |AC A|C|T|ACC|T| |C|G|C|- -

Paarweises Alignieren mit HMM Alignment mit affinen Gapkosten: M(i,j) = max[M(i-1,j-1)+s(x i,y j ), I x (i-1,j-1)+s(x i,y j ), I y (i-1,j-1)+s(x i,y j )] I x (i,j) = max[M(i-1,j)-d, anderer Block, neue Gapfolge I x (i-1,j)-e] selber Block, fortgesetzte Gapfolge I y (i,j) = max[M(i,j-1)-d, anderer Block, neue Gapfolge I y (i,j-1)-e] selber Block, fortgesetzte Gapfolge } }

Paarweises Alignment mir HMM

V L S P K H L _ _ K

Paarweises Alignment mir HMM V L S P K H L _ _ K

Paarweises Alignment mir HMM V L S P K H L _ _ K

Paarweises Alignment mir HMM V L S P K H L _ _ K

Paarweises Alignment mir HMM V L S P K H L _ _ K

Paarweises Alignment mir HMM V L S P K H L _ _ K

Paarweises Alignieren mit HMM NFA für Alignment mit affinen Gapkosten: dazugehöriges Wahrscheinlichkeitsmodell:

Paarweises Alignment mit HMM AA 0.21 AC 0.01 AG 0.05 AT 0.04 CA 0.02 …. 1-2 Match A- 0.2 C- 0.4 G- 0.3 T- 0.1 Gap Y 1- -A 0.2 -C 0.4 -G 0.3 -T 0.1 Gap X 1- Begin

Paarweises Alignieren mit HMM Das Wahrscheinlichkeitsmodell mit Begin und End Zuständen:

Paarweises Alignieren mit HMM Was ist neu? Es wird nicht mehr eine einzelne Sequenz generiert sondern ein paarweises Alignment Man benötigt eine zusätzliche Dimension und deshalb wird v k (i) zu v k (i,j) erweitert

Paarweises Alignieren mit HMM Angepasster Viterbi Algorithmus: Initialisierung: v M (0,0) = 1, alle anderen v*(i,0), v*(0,j) sind 0 Rekursion (i = 1..n, j = 1..m): v M (i,j) = p x i y j max[(1-2δ-τ)v M (i-1,j-1), (1-ε-τ)v X (i-1,j-1), (1-ε-τ)v Y (i-1,j-1)] v X (i,j) = q x i max[δv M (i-1,j), εv X (i-1,j)] v Y (i,j) = q y i max[δv M (i,j-1), εv X (i,j-1)] Terminierung: v E = τmax(v M (n,m),v X (n,m),v Y (n,m))

Paarweises Alignieren mit HMM lokales Alignment mit HMM: Zuerst definieren wir ein Random-Modell:

Paarweises Alignieren mit HMM lokales Alignment mit HMM:

Zusammenfassung Markov Ketten: Modelle für Sequenzgenerierung HMM: verschiedene WK für dieselben Symbole abhängig vom Kontext Viterbi Algorithmus: Algorithmus zum finden des wahrscheinlichsten Pfades durch die Zustände Alignment mit HMM: Überführung von score-Gleichungen in die Wahrscheinlichkeitsmodelle

Ende Fragen???