Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

STATISTISCHE LERNMETHODEN Bayessches Lernen MAP Maximum Likelihood Hauptquelle: Artificial Intelligence: A Modern Approach Stuart J. Russel, Peter Norvig.

Ähnliche Präsentationen


Präsentation zum Thema: "STATISTISCHE LERNMETHODEN Bayessches Lernen MAP Maximum Likelihood Hauptquelle: Artificial Intelligence: A Modern Approach Stuart J. Russel, Peter Norvig."—  Präsentation transkript:

1 STATISTISCHE LERNMETHODEN Bayessches Lernen MAP Maximum Likelihood Hauptquelle: Artificial Intelligence: A Modern Approach Stuart J. Russel, Peter Norvig

2 Beispiel 1 Gegeben: 2 Arten von Bonbons (Kirsche, Zitrone) 5 Arten von Bonbontüten(äußerlich ununterscheidbar): 100% Kirsche (h 1 ) 75% Kirsche, 25% Zitrone (h 2 ) 50% Kirsche, 50% Zitrone (h 3 ) 25% Kirsche, 75% Zitrone (h 4 ) 100% Zitrone (h 5 ) Optional: (Vom Hersteller) gegebene Häufigkeitsverteilung der verschiedenen Tütensorten

3 Beispiel 1 Erhebung von Daten = Herausnehmen einzelner Bonbons und prüfen des Geschmacks d = d 1, …, d N sind die Daten d i = kirsche oder d i = zitrone h 1, …, h 5 sind die Hypothesen Aufgabe / Problemstellung: Vorhersage des nächsten (bzw. der nächsten) Bonbons

4 Bayessches Lernen Bayessches Lernen: Berechnen der Wahrscheinlichkeit jeder Hypothese und Vorhersage auf dieser Basis ALLE Hypothesen werden (gewichtet nach ihrer jeweiligen Wahrscheinlichkeit) verwendet, nicht nur eine beste Hypothese

5 Beispiel 1 (1) P(h i |d) = α P( d|h i ) P(h i ) mit α = P(d) -1 (2) => Vorhersage = gewichteter Mittelwert der Vorhersagen der Einzelhypothesen

6 Beispiel 1 Grundannahme bei diesem Beispiel: Das Auswerten von Daten verändert nicht die Bonbonanteile in der untersuchten Bonbontüte, d.h. die einzelnen Bonbonziehungen sind voneinander (stochastisch) unabhängig Dann gilt: P(d|h i ) = P(d 1 |h i ) P(d 2 |h i )…P(d n |h i )

7 Beispiel 1 Die (a-priori-) Wahrscheinlichkeiten für h 1,…,h 5 seien z.B. ( 0,1 ; 0,2 ; 0,4 ; 0,2; 0,1 ) Die ersten 10 gezogenen Bonbons seien allesamt Zitronenbonbons: d = (d 1,…,d n ) = (zitrone,…,zitrone) Unter der Annahme einer jeden Hypothese hat eine solche Ziehung dann eine bestimmte Wahrscheinlichkeit, so z.B. P(d|h 3 ) = 0,5 10

8 Entwicklung der a-posteriori-Wahrscheinlichkeiten der Hypothesen und der Vorhersage P(h i |d) = α P(d|h i ) P(h i )

9 Dominanz der wahren Hypothese bei der Bayesschen Vorhersage Typischer Effekt: wahre Hypothese dominiert nach einer bestimmten Datenmenge die Bayessche Vorhersage Grund: Die Wahrscheinlichkeit, durch Zufallsziehungen uncharakteristische Daten zu produzieren, wird mit zunehmender Datenmenge verschwindend gering.

10 Bewertung des Bayesschen Lernens Bayessches Lernen ist insofern optimal, als dass jede andere Vorhersagemethode weniger oft richtig liegen würde. Der Preis dafür: in realen Situationen gibt es meist zuviele Hypothesen und die Summenbildung (im kontinuierlichen Fall: Integration) in Gleichung (2) ist nicht (oder nicht effizient) durchführbar => Notwendigkeit einer sinnvollen Approximation

11 MAP-Approximation Populäre Approximationsmöglichkeit: Vorhersage auf Basis EINER wahrscheinlichsten Hypothese D.h., bei gegebenen Daten wird diejenige Hypothese h i zur Vorhersage herangezogen, die P(h i |d) maximiert (maximum a posteriori hypothesis, h MAP )

12 MAP-Approximation Im obigen Beispiel 1 wäre damit nach 3 geprüften Bonbons die Vorhersage aller folgenden Bonbons durch MAP, dass mit Wahrscheinlichkeit 1,0 Zitronenbonbons folgen werden ( sicherlich eine viel gefährlichere Prognose als die vom reinen Bayesverfahren zu diesem Zeitpunkt berechnete Wahrscheinlichkeit von 0,8 für Zitronenbonbons )

13 Vergleich MAP & Bayes Vorhersagen des reinen Bayesverfahrens und MAP nähern sich mit zunehmender Datenmenge an In vielen realen Situationen ist die Vorhersage durch h MAP deutlich einfacher bestimmbar

14 Weitere Vereinfachung Eine weitere populäre Vereinfachung wird angewendet, wenn alle Ausgangshypothesen gleich wahrscheinlich sind bzw. keine genaueren Vorkenntnisse vorhanden sind. Dadurch reduziert sich MAP, also die Maximierung von P(h i |d) = α P(d|h i ) P(h i ) auf eine Maximierung von P(d|h i )

15 Maximum Likelihood Diese Methode wird als Maximum-Likelihood-Methode bezeichnet und die auf diese Weise bestimmte und zur Vorhersage verwendete Hypothese h ML bzw. ML-Hypothese Die so gewonnene Vorhersage ist in aller Regel eine gute Näherung zur Bayesschen und MAP- Vorhersage, sofern die Datenmenge groß genug ist

16 Beispiel 2 Gegeben: Wie Beispiel 1, aber diesmal gibt der Hersteller keine Proportionen (Tütensorten) an. Kontinuum von Hypothesen anstatt diskreter Hypothesenmenge Parameter θ ist Anteil der Kirschbonbons in der untersuchten Tüte, mögliche Hypothesen heißen h θ A priori sind alle h θ gleich wahrscheinlich, also wird ML- Methode angewendet

17 Beispiel 2 Daten: N geöffnete Bonbons, c davon Kirsche, l = N-c Zitrone P(d|h θ ) = P(d 1 |h θ )…P(d N | h θ ) = θ c (1- θ ) l ML-Hypothese durch θ gegeben, welches P(d|h θ ) maximiert L(d|h θ ) = log P(d|h θ ) = c log θ +l log (1- θ )

18 Beispiel 2 Bestimmung des Maximums dieser Funktion: h ML ist (wie erwartet) die Hypothese, dass der Anteil der Kirschbonbons in der Tüte gleich dem beobachteten Anteil der Kirschbonbons unter den geprüften Bonbons ist

19 Allgemeine Vorgehensweise Das Beispiel ist zwar einfach, stellt aber die wesentlichen Schritte der allgemeinen Methode gut dar: 1) Ausdruck für Wahrscheinlichkeit der Daten als Funktion der Parameter finden 2) Den Logarithmus dieser Funktion nach jedem Parameter ableiten 3) Maximierende Parameter als Nullstellen der Ableitung bestimmen (insbesondere dieser letzte Schritt ist in der Praxis häufig der schwierigste)

20 Probleme der ML-Methode Ebenfalls zeigt das Beispiel schon eines der Hauptprobleme der Methode auf: Bei geringer Datenmenge (wenn z.B. einige mögliche Variablenwerte noch kein einziges mal vorkamen) ergibt die ML-Methode 0-Wahrscheinlichkeiten für diese Ereignisse, was häufig nicht der Realität entspricht Eine mögliche Lösung ist das vorherige Initialisieren aller Ereigniszähler auf 1 (sodass jeder mögliche Variablenwert zumindest ein Mal in die Rechnung einfließt)

21 Beispiel 3 (mehrere Parameter) Gegeben: Gleiche Situation wie in Beispiel 2, aber als Hinweis färbt der Hersteller das Bonbon-papier eines jeden Bonbons in probabilistischer Abhängigkeit vom Bonbongeschmack: F = Farbe, G = Geschmack P(G = kirsche) = θ P(F=rot|G = kirsche) = θ 1, P(F=rot|G = zitrone) = θ 2 Dies ist also ein Modell mit 3 Parametern und den möglichen Hypothesen h θ, θ 1, θ 2

22 Beispiel 3 (mehrere Parameter) Wie vorher wird wieder von N geöffneten Bonbons ausgegangen, wovon c Kirsch- und l Zitronengeschmack haben. Außerdem sind r c der Kirschbonbons in rotem Bonbonpapier, g c in grünem vorgefunden worden, entsprechend r l bzw. g l für die Zitronenbonbons.

23 Beispiel 3 (mehrere Parameter) P(d|h θ, θ 1, θ 2 ) = θ c (1- θ ) l θ 1 r c (1- θ 1 ) g c θ 2 r l (1- θ 2 ) g l L(d|h θ, θ 1, θ 2 ) = c log θ + l log (1- θ ) + r c log θ 1 + g c log (1- θ 1 ) + r l log θ 2 + g l log (1- θ 2 )

24 Beispiel 3 (mehrere Parameter)

25 Vollständige Daten => unabhängige Gleichungen Beobachtung an diesem Beispiel (gilt auch im Allgemeinen): Vollständige Daten (d.h. wenn jeder Mess- bzw. Datenpunkt Werte für alle involvierten Variablen enthält) führen zu unabhängigen Gleichungen (und sind daher gut lösbar)

26 Zusammenfassung Bayessches Lernen ist in einem bestimmten Sinn optimal, was aber durch eine in der Realität häufig ineffiziente und unpraktikable Rechnung (in Form von Summenbildung über sehr viele Summanden oder schwierige Integration) erkauft wird. Die MAP-Methode ist eine sinnvolle Näherung an Bayessches Lernen, deren Güte allerdings von der verfügbaren Datenmenge abhängt. Sie ist häufig deutlich leichter berechenbar, kann aber bei geringer Datenmenge ausartende Ergebnisse liefern, was nur teilweise durch Modifikationen an der Methode ausgeglichen werden kann. Die Maximum-Likelihood-Methode ist ein Spezialfall der MAP- Methode und hat damit weitgehend die gleichen Vor- und Nachteile. Sie ist noch einfacher berechenbar, vernachlässigt allerdings jegliches eventuelle Vorwissen über die a-priori- Wahrscheinlichkeitsverteilung der verfügbaren Hypothesen.


Herunterladen ppt "STATISTISCHE LERNMETHODEN Bayessches Lernen MAP Maximum Likelihood Hauptquelle: Artificial Intelligence: A Modern Approach Stuart J. Russel, Peter Norvig."

Ähnliche Präsentationen


Google-Anzeigen