Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Geoinformationssysteme Prof. Dr. Stefan Hawlitschka 23.11.2009 1 Geoinformationssysteme - Vorlesung 7 - FH Koblenz.

Ähnliche Präsentationen


Präsentation zum Thema: "Geoinformationssysteme Prof. Dr. Stefan Hawlitschka 23.11.2009 1 Geoinformationssysteme - Vorlesung 7 - FH Koblenz."—  Präsentation transkript:

1 Geoinformationssysteme Prof. Dr. Stefan Hawlitschka Geoinformationssysteme - Vorlesung 7 - FH Koblenz

2 Themen Geoinformationssysteme - Vorlesung 7 - FH Koblenz 2  Bayes‘sche Entscheidungstheorie  Maximum Likelihood Schätzer  Maximum a Posteriori Schätzer

3 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 3 Kontinuierliche Variablen  Wir betrachten mehrere Merkmale mit Merkmalsvektor x im euklidischen Raum R d.  Wir lassen mehr als zwei Klassen zu  Die Einführung einer Kostenfunktion ermöglicht, bestimmte Fehlklassifizierungen als schwerwiegender zu bewerten als andere  Wir hatten die a posteriori Wahrscheinlichkeit durch die Regel von Bayes definiert: LikelihoodA priori

4 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 4 Wie konstruieren wir die Wahrscheinlichkeitsfunktionen?  Beispiel für a priori Wahrscheinlichkeit: wie oft kommt jede Klasse in einer Stichprobe vor (empirische Häufigkeit)?  Beispiel für Likelihood: empirische Helligkeitsverteilung p(x|  ) Daten (Beobachtungen)Empirische Verteilung

5 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 5  Das Auszählen der Klassenhäufigkeiten liefert meist eine gute Approximation des wahren Priors.  Problem: Die empirische Verteilung ist meist eine schlechte Approximation der Likelihood. Es existieren zu wenige Beobachtungen, um insbesondere hochdimensionale Verteilungen zu schätzen Ansatz: Modellannahmen geben zusätzliche Information zur Struktur des Problems, bzw. der Form der Likelihood. Beispiel: Daten D={x 1,…,x k } Helligkeit des Seeteufels. Wir suchen die Verteilung der Zufallsvariablen X.

6 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 6 Modellannahme: X ist eine normalverteilte Zufallsvariable N( μ, σ 2 ) Parameterschätzung (ML): Mittelwert = 179 Standardabw. = 9.5 tatsächliche Dichte von X empirische Dichtefunktion „gelernte“ Dichtefunktion

7 Die Gauß (Normal-) Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 7

8 Die Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 8 T

9 Die Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 9

10 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 10

11 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 11 Loss Funktion und Risk  Seien {  1,…,  c } die c wahren Zustände und {  1,…,  a } a mögliche Aktionen (Entscheidungen)  Loss: Die loss function (kurz: loss) (  i |  j ) gibt die mit der Entscheidung  i (x) verbundenen Kosten (cost) an, wenn die wahre Klassenzugehörigkeit durch w j gegeben ist  Risk: Der Erwartungswert einer loss-Funktion wird risk R genannt. Da P(  j |x) die Wahrscheinlichkeit für das Auftreten der Klasse  i ist, definieren wir für c Klassen  i :  Wenn wir die Daten x messen, können wir die Kosten minimieren, indem wir die Aktion  i wählen, welche die riskfunktion minimiert.

12 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 12  Bei kontinuierlichen Variablen x wird die loss function zu einer Entscheidungsfunktion  (x) für die Werte  1,…,  a. Das Gesamtrisiko R ergibt sich zu  Wenn  (x) so gewählt ist, dass jedes einzelne R(  i (x)) minimal für jedes x ist, ist sicherlich R minimal.  Die Bayes Entscheidungsregel lautet also: Berechne die bedingten riskfunktionen und wähle die Aktion, bei welcher R(  i (x)) minimal ist. Das resultierende Gesamtrisiko R* heißt Bayes risk und die beste erreichbare Lösung

13 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 13 Beispiel: Zwei Kategorien Klassifikation   1 ist die Entscheidung für Klasse  1  2 die Entscheidung für Klasse  2  ij sind die Kosten für die Entscheidung für Klasse  i, wenn  j vorliegt. Wir schreiben die bedingten Risikofunktionen aus:  Üblicherweise würde man sich für  1 entscheiden, wenn R(  1 |x)< R(  2 |x). Wenn man dies in den a posteriori Wahrscheinlichkeiten ausdrückt, ergibt sich:  Wenn die richtig definiert worden sind, sind und positiv. In Praxis ist unsere Entscheidung den wahrscheinlicheren Zustand definiert, und wir können nach obiger Ungleichung die Wahrscheinlichkeiten mit den Differenzen der Loss-Funktionen skalieren.

14 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 14  Nach Anwendung der Regel von Bayes können wir die Entscheidungsregel schreiben als: Wir entscheiden uns für  1, falls und für  2 andernfalls. Alternative Schreibweise:  Dies ist die Likelihood Ratio und ist eine Entscheidungsregel, welche auf den Likelihood Funktionen der gemessenen Daten x basiert. Wir entscheiden uns für \omega_1, falls die Likelihood ratio eine vorgegebene Schwelle übersteigt.

15 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 15  Loss functions können unterschiedlich definiert werden. Bei der Regression sind es die quadratischen Abstände von der Ausgleichsgeraden. Hier werden die Abweichungen quadratisch gewertet. Wenn bei einer Klassifikation alle Fehlklassifikationen gleich gewichtet werden sollen, wird die so genannte symmetrische oder null-eins loss Funktion angewendet:

16 Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz 16  Bei der 0-1 loss Funktion werden alle Fehler gleich gewichtet und die risk function ist gleich der mittleren Fehlerwahrscheinlichkeit

17 ML Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 17

18 ML Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 18

19 MAP Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 19 Wir wollen P( μ |D) ∝ P(D| μ ) P( μ ) maximieren. Spezifikation des Priors: P( μ ) ~N( μ 0, σ 0 2 ), μ 0 und σ 0 2 sind festgelegt P(μ|D)

20 MAP Schätzer für Gauß-Verteilung 20 Somit hat p(μ|D) die Gestalt Koeffizientenvergleich ergibt: und, wobei

21 MAP Schätzer für Gauß-Verteilung 21 Auflösen nach μ n, σ n ergibt (mit ) :  0 für n  ∞  1 für n  ∞  0 für n  ∞ p( μ |D) nimmt bei μ n sein Maximum an, somit ist μ n der MAP-Schätzer. Für n  ∞ geht dieser in den ML-Schätzer μ = über. Der Posterior versammelt seine Masse mit n  ∞ immer enger um μ n. Mit zunehmendem n wird der Einfluss des Priors ( μ 0, σ 0 ) auf den Posterior bzw. den MAP-Schätzer immer geringer.

22 MAP Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz 22

23 Vielen Dank für Ihre Aufmerksamkeit! Geoinformationssysteme - Vorlesung 7 - FH Koblenz


Herunterladen ppt "Geoinformationssysteme Prof. Dr. Stefan Hawlitschka 23.11.2009 1 Geoinformationssysteme - Vorlesung 7 - FH Koblenz."

Ähnliche Präsentationen


Google-Anzeigen