Thomas Bayes Theorie joint probability, DAG aus Markovian Parents conditional independence, explain away, d- Separation Inference brute force Lernen einer.

Präsentation zum Thema: "Thomas Bayes Theorie joint probability, DAG aus Markovian Parents conditional independence, explain away, d- Separation Inference brute force Lernen einer."—  Präsentation transkript:

1 Thomas Bayes Theorie joint probability, DAG aus Markovian Parents conditional independence, explain away, d- Separation Inference brute force Lernen einer binomialen Variable Lernen einer multinomialen Variable Beispiel Lernen eines Netzwerks Lernen der einzelnen CPT Bayesche Netzwerke

2 Bayesche Denkweise Thomas Bayes 1702-1761 1764 p.m. veröffentlicht Royal Society of London unbeeinsprucht bis George Bool 1854 Laws of Thought

3 Bayesche Denkweise Thomas Bayes 1702-1761 Subjektive Wahrscheinlichkeit Background ξ a priori: p(e|ξ) a posteriori: p(e|D, ξ)

4 research by David Heckerman Microsoft Research, Lernen in BN Judea Pearl University of California, Theorie von Kausalität u.a. Spiegelhalter University of Cambridge, Biostatistic, Klinische Studien

5 Beispiel seasons (Pearl, Russel 2000) implementiert in Netica 4.09 www.norsys.com Bayesian Networks are directed acyclic graphs (DAG). The causal connections are direct represent- ations of the real world.

6 Beispiel seasons Sprinkler prob. wet (prediction) slippery prob. wet (abduction) wet prob. sprinkler or rain (abduction) no link from Season to slippery

7 Beispiel seasons Sprinkler Rain | Season

8 Kausalität rauchen Krebs statistical knowlege is not causal knowlege Judea Pearl: correlation does not imply causation Kopfweh Wetterumschwung

9 Conditional Independence A C BA C B A C B

10 joint probability X={X 1,X 2,..., X n } 2 n verschiedene Realisierungen Möglicherweise 10.000nde Variablen joint probability ist O(exp(n))!! conditional probability tables in BN sind nur O(n k )!! 63 verschiedene Werte

11 Markovian Parents Use product rule to decompose joint probability into product of conditional probabilities. Order is important!!

12 Markovian Parents

13 3 + 4 + 4 + 4 + 2 = 17 verschiedene Werte

14 Markovian Parents und PA i sind minimal PA i sind markovian parents von X i, wenn gilt: daraus folgt:

15 d-separation (Pearl 1988) A C BA C B A C B Pfad blockiert, Information kann nicht passieren (A B) AB A C BA C B A C B Pfad frei, Information propagiert (A B) AB

16 Beispiel explaining away p(M|I) > p(M|S,I) Sportlich Musikalisch | Sportlich Musikalisch | Internat) Aufnahmekriterium des Internats: sportliche Leistung oder musikalische Begabung

17 explaning away A C B Diese Art des Schließens ist in regelbasierten Systemen oder neuronalen Netzen sehr schwer zu modellieren, in Bayeschen Netzen aber selbstverständlich.

18 Inference, evaluation gegeben sind einige Fakten gesucht ist die Wahrscheinlickeit von einer gewissen Konfiguration

19 Inference, evaluation Berechnung durch cond.prob.

20 Inference, evaluation im allgemeinen NP-hart (Cooper,1987) in realistischen Netzen ist exakte Lösung ebenfalls NP-hart lineare Lösung nur für polytrees singly connected networks

21 Applications speech recognition Thiesson, Meek, Chickering, Heckerman 98 causal discovery Lernen von Strukturen, s. Heckerman 95 expert systems Microsoft Printer-Troubleshooter, Office Wizards preference prediction Microsoft Commerce Server 4.0

22 Lernen, einfachstes Netz nur ein Knoten in Graph z.B. Werfen eines Reißnagels X X kann die Werte head oder tail annehmen nach n Versuchen soll der n+1ste vorhergesagt werden

23 Lernen als Bayesches Netz mit jedem Wurf steigt mein Wissen leider steigen auch die Abhängigkeiten hidden variable einführen

24 BN mit Hyperparameter Bayesches Netz mit einer hidden variable A priori Annahmen: Würfe sind unabhängig, Eigenschaften des Nagels bleiben unverändert mit der Zeit, All möglichen Werte für θ gelten als gleich wahrscheinlich.

25 a priori Hypothese Strukturwissen und Parameterschätzungen Expertenwissen fließt ein Kausale Zusammenhänge sind logisch Assessment liefert gute Ergebnisse Struktur von Experten CPT durch Lernen aus Datenbank.

26 Lernen, Hypothese

27 Lernen mit conjugate prior a priori:

28 Lernen, Ergebnis Marginalisierung über die Wahrscheinlichkeitsverteilung entspricht hier dem Erwartungswert