Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Maschinelles Lernen Präsenzübung. Seite 21/8/2014| Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω 1 und.

Ähnliche Präsentationen


Präsentation zum Thema: "Maschinelles Lernen Präsenzübung. Seite 21/8/2014| Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω 1 und."—  Präsentation transkript:

1 Maschinelles Lernen Präsenzübung

2 Seite 21/8/2014| Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω 1 und ω 2 ) sei durch eine Entscheidungsschwelle d gegeben: a)Wie lautet die Formel für das erwartete (Gesamt)Risiko dieses Klassifikators, gegeben eine Lossfunktion λ ? Wie ist diese Formel für den Spezialfall λ=0- 1-Loss zu interpretieren? b)Fixiere λ=0-1-Loss. Zeige, dass für ein d, welches das Risiko minimiert, gilt: c)Zeichne ein Beispiel für Fall b). Ist das Kriterium in b) hinreichend? Konstruiere aus deinem Beispiel ein einfaches Gegenbeispiel.

3 Seite 31/8/2014| Übung 1: Binäre Klassifikation Die Längen von Seebarsch (ω 1 ) und Lachs (ω 2 ) seien Cauchy-verteilt. Die Lossfunktion sei 0-1 Loss. d)Die maximale akzeptable Fehlerrate für die Fehlklassifikation eines Seebarsches als Lachs sei e 1. Bestimme das optimale Klassifikationsverfahren, welches diese Bedingung erfüllt. e)Wie groß ist für dieses Verfahren die Fehlklassifikationsrate von Lachs, e 2 ? f)Wie groß ist das erwartete Risiko dieses Klassifikators für a1= -1,a2=1, b=1, p(L)=P(B), e 1 =0.5? Die kummulative Verteilungsfunktion der Cauchy-Verteilung ist

4 Seite 41/8/2014| Stastistik Gruppe gutes Merkmal schlechtes Merkmal Statistik Gruppe 2 Wahrscheinlich- keitsdichte Einschub: Wie vergleicht man die Güte von Merkmalen?

5 Seite 51/8/2014| Schranke False Positives True Positives Einschub: Wie vergleicht man die Güte von Merkmalen? False Negatives True Negatives

6 Seite 61/8/2014| Klassifikator Negative (N)Positive (P) Gold- stan- dard (Wahr- heit) Gesunde (G) Echt Negative (TN)Falsch Positive (FP) Spezifität (TN/G) Kranke (K) Falsch Negative (FN) Echt Positive (TP) Sensitivität (TP/K) Negativer Vorhers.wert NPV (TN/N) Positiver Vorhers.wert PPV (TP/P) Einschub: Wie vergleicht man die Güte von Merkmalen?

7 Seite 71/8/2014| Schranke 1-Spezifität Sensitivität Spezifität Sensitivität Einschub: Wie vergleicht man die Güte von Merkmalen? besser Operating Point

8 Seite 81/8/2014| Schranke Sensitivität Einschub: Wie vergleicht man die Güte von Merkmalen? 1-Spezifität

9 Seite 91/8/2014| Schranke Sensitivität Einschub: Wie vergleicht man die Güte von Merkmalen? 1-Spezifität

10 Seite 101/8/2014| ROC Kurve gut schlecht Sensitivität Receiver Operating Characteristic (ROC) 1-Spezifität

11 Seite 111/8/2014| Receiver Operating Characteristic (ROC) Beispiele von ROC-Kurven

12 Seite 121/8/2014| Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven AUC

13 Seite 131/8/2014| Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven Spez = 0.7 pAUC (0.7)

14 Seite 141/8/2014| Übung 2: ROC-Kurven / Positiver Prädiktiver Wert In einem binären Klassifikationsproblem (Klassen ω 1 und ω 2 ) sei die Verteilung eines Merkmals in Klasse ω 1 uniform auf [0,1], die entsprechende Verteilung in Klasse ω 2 sei uniform auf [0,b] für ein b [0,1]. a) Berechne den Operating Point eines entscheidungsschwellenbasierten Klassifikators mit Schwelle d (Entscheidung für Klasse ω 2, falls beobachtetes Merkmal < d, ansonsten Entscheidung für Klasse ω 1 ). b) Berechne und zeichne die ROC-Kurve für verschiedene Merkmale (verschiedene b). Für welche b ist eine gute Klassifikation möglich?

15 Seite 151/8/2014| Ein ein statistischer Test auf Zugehörigkeit zu Klasse ω 1 soll zur Konstruktion eines Klassifikators verwendet werden. Der Test gibt für ein beobachtetes Merkmal x einen p-Wert [0,1] zurück. Dieser stammt aus einer uniformen Verteilung, wenn die Beobachtung aus ω 1 stammt. Im gegenteiligen Fall ist die Verteilung der p-Werte eine linksgipflige Betaverteilung. Wir wenden den entscheidungsschwellenbasierten Klassifikator aus a) auf die p-Werte an. Es seien n Beobachtungen gemacht worden, deren Klassenzugehörigkeit unbekannt ist. Die a priori Wahrscheinlichkeiten P(ω j ) sowie die Parameter der Betaverteilung seien unbekannt. c)Zeichne für verschiedene Betaverteilungen und verschiedene Priors die Verteilung der beobachteten p-Werte. d)Denke dir ein Verfahren zur Schätzung der Prior aus e)Wie würdest du nun die Parameter der Betaverteilung schätzen? f)Zu gegebener Schwelle p 0 kann dann der positive prädiktive Wert (PPV) abgeschätzt werden. Wie? Übung 2: ROC-Kurven / Positiver Prädiktiver Wert


Herunterladen ppt "Maschinelles Lernen Präsenzübung. Seite 21/8/2014| Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω 1 und."

Ähnliche Präsentationen


Google-Anzeigen