Maschinelles Lernen   Präsenzübung

Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω1 und ω2) sei durch eine Entscheidungsschwelle d gegeben: Wie lautet die Formel für das erwartete (Gesamt)Risiko dieses Klassifikators, gegeben eine Lossfunktion λ ? Wie ist diese Formel für den Spezialfall λ=0-1-Loss zu interpretieren? Fixiere λ=0-1-Loss. Zeige, dass für ein d, welches das Risiko minimiert, gilt: Zeichne ein Beispiel für Fall b). Ist das Kriterium in b) hinreichend? Konstruiere aus deinem Beispiel ein einfaches Gegenbeispiel.

Übung 1: Binäre Klassifikation Die Längen von Seebarsch (ω1) und Lachs (ω2) seien Cauchy-verteilt. Die Lossfunktion sei 0-1 Loss. Die maximale akzeptable Fehlerrate für die Fehlklassifikation eines Seebarsches als Lachs sei e1. Bestimme das optimale Klassifikationsverfahren, welches diese Bedingung erfüllt. Wie groß ist für dieses Verfahren die Fehlklassifikationsrate von Lachs, e2? Wie groß ist das erwartete Risiko dieses Klassifikators für a1= -1,a2=1, b=1, p(L)=P(B), e1=0.5? Die kummulative Verteilungsfunktion der Cauchy-Verteilung ist

„gutes“ Merkmal „schlechtes“ Merkmal Einschub: Wie vergleicht man die Güte von Merkmalen? Wahrscheinlich-keitsdichte „gutes“ Merkmal Stastistik Gruppe 1 Statistik Gruppe 2 Wahrscheinlich-keitsdichte „schlechtes“ Merkmal

Einschub: Wie vergleicht man die Güte von Merkmalen? True Negatives True Positives False Negatives False Positives Schranke

Negativer Vorhers.wert NPV (TN/N) Positiver Vorhers.wert PPV (TP/P) Einschub: Wie vergleicht man die Güte von Merkmalen? Klassifikator Negative (N) Positive (P) Gold-stan-dard („Wahr-heit“) Gesunde (G) Echt Negative (TN) Falsch Positive (FP) Spezifität (TN/G) Kranke (K) Falsch Negative (FN) Echt Positive (TP) Sensitivität (TP/K) Negativer Vorhers.wert NPV (TN/N) Positiver Vorhers.wert PPV (TP/P)

Einschub: Wie vergleicht man die Güte von Merkmalen? Operating Point 1-Spezifität Sensitivität 1 besser Schranke

Einschub: Wie vergleicht man die Güte von Merkmalen? 1 Sensitivität 1-Spezifität 1 1 Sensitivität 1-Spezifität 1 Schranke

Einschub: Wie vergleicht man die Güte von Merkmalen? 1 Sensitivität 1-Spezifität 1 1 Sensitivität 1-Spezifität 1 Schranke

ROC Kurve ROC Kurve Receiver Operating Characteristic (ROC) gut 1 gut Sensitivität 1-Spezifität 1 ROC Kurve 1 Sensitivität schlecht 1-Spezifität 1

Beispiele von ROC-Kurven Receiver Operating Characteristic (ROC) Beispiele von ROC-Kurven

Beispiele von ROC-Kurven Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven AUC

Beispiele von ROC-Kurven Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven pAUC (0.7) Spez = 0.7

Übung 2: ROC-Kurven / Positiver Prädiktiver Wert In einem binären Klassifikationsproblem (Klassen ω1 und ω2) sei die Verteilung eines Merkmals in Klasse ω1 uniform auf [0,1], die entsprechende Verteilung in Klasse ω2 sei uniform auf [0,b] für ein b ∊ [0,1]. a) Berechne den Operating Point eines entscheidungsschwellenbasierten Klassifikators mit Schwelle d (Entscheidung für Klasse ω2, falls beobachtetes Merkmal < d , ansonsten Entscheidung für Klasse ω1). b) Berechne und zeichne die ROC-Kurve für verschiedene Merkmale (verschiedene b). Für welche b ist eine gute Klassifikation möglich?

Übung 2: ROC-Kurven / Positiver Prädiktiver Wert Ein ein statistischer Test auf Zugehörigkeit zu Klasse ω1 soll zur Konstruktion eines Klassifikators verwendet werden. Der Test gibt für ein beobachtetes Merkmal x einen p-Wert ∊ [0,1] zurück. Dieser stammt aus einer uniformen Verteilung, wenn die Beobachtung aus ω1 stammt. Im gegenteiligen Fall ist die Verteilung der p-Werte eine linksgipflige Betaverteilung. Wir wenden den entscheidungsschwellenbasierten Klassifikator aus a) auf die p-Werte an. Es seien n Beobachtungen gemacht worden, deren Klassenzugehörigkeit unbekannt ist. Die a priori Wahrscheinlichkeiten P(ωj) sowie die Parameter der Betaverteilung seien unbekannt. Zeichne für verschiedene Betaverteilungen und verschiedene Priors die Verteilung der beobachteten p-Werte. Denke dir ein Verfahren zur Schätzung der Prior aus Wie würdest du nun die Parameter der Betaverteilung schätzen? Zu gegebener Schwelle p0 kann dann der positive prädiktive Wert (PPV) abgeschätzt werden. Wie?