Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten.

Ähnliche Präsentationen


Präsentation zum Thema: "Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten."—  Präsentation transkript:

1 Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten

2 Konzepte Was ist ein Konzept? –Eigenschaft, Tatsache,... die auf ein bestimmtes Objekt zutrifft oder nicht –C(x) = {0,1} Binäre Klassifikation

3 Beispiel: SportTreiben HimmelTempe- ratur Luft- feuchte WindWasserVorher- sage SportTr eiben SonnigWarmnormalStarkWarmStabilJa SonnigWarmHochStarkWarmStabilJa Regneri sch KaltHochStarkWarmVerände rlich Nein SonnigwarmHochStarkkaltVerände rlich ja

4 SportTreiben Repräsentation: betrachte Vektor der Wettereigenschaften, SportTreiben wird durch +/- angezeigt: –,{+,-}

5 SportTreiben: Repräsentation Hypothese h: –Konjunktion von Constraints C i auf Attributen –C i kann sein: Spezieller Wert: Wasser = warm Egal: Wasser = ? Kein Wert erlaubt: Wasser = Ø –Beispiel:

6 Typisches Lernen von Konzepten Gegeben: –Instanzen X = mögliche Tage, die durch die Wetterattribute beschrieben sind –Zielfunktion c: SportTreiben : X -> {0,1} –Hypothesen H: Konjunktionen von Literalen, z.B. –Trainingsbeispiele T: positive und negative Beispiele für die Zielfunktion:,..., Gesucht: –Hypothese h in H, so dass h(x) = c(x) für alle x in T

7 Grundannahme Hypothese des induktiven Lernens –Jede Hypothese, die die Zielfunktion auf einer hinreichenden Menge von Trainingsbeispielen approximiert, wird die Zielfunktion auch für neue Instanzen approximieren.

8 Vergleich von Hypothesen Betrachte Instanzen: –X1 = –X2 = Und Hypothesen –h1= –h2 = –h3 =

9 Allgemein - spezifisch Def.: Seien h i und h k Hypothesen aus H, h j ist allgemeiner-oder-gleich zu h k (h j g h k ) gdw für jedes x aus X gilt: h k (x) = 1 => h j (x) = 1

10 Simpler Lern-Algorithmus: Find-S Grundidee: –Gehe von sehr spezifischer Hypothese aus, und verallgemeinere diese sukzessive für jedes Trainingsbeispiel.

11 Simpler Lern-Algorithmus: Find-S Wähle die spezifischste Hypothese h aus H Für jede positive Trainingsinstanz x –Für jeden Attribut-Constraint a i in h: wenn a i wird in h von x erfüllt, Dann weiter, sonst ersetze a i in h durch den nächst allgemeineren Constraint, der von x erfüllt wird Ergebnis: Hypothese h

12 Beispielanwendung von Find-S h 0 =,

13 Beispielanwendung von Find-S h 0 =, x 1 =,+

14 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 =

15 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+

16 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+ h 2 =

17 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+ h 2 = x 3 =,-

18 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+ h 2 = x 3 =,- h 3 =

19 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+ h 2 = x 3 =,- h 3 = x 4 =,+

20 Beispielanwendung von Find-S h 0 =, x 1 =,+ h 1 = x 2 =,+ h 2 = x 3 =,- h 3 = x 4 =,+ h 4 =

21 Bewertung Find-S Kein Feedback, wann das Konzept tatsächlich gelernt wurde Kein Feedback bei inkonsistentem Input (konvergiert nicht notwendig!) Keine Toleranz gegenüber fehlerhaftem Input Ergebnis ist immer die/eine maximal spezifische Hypothese, keine Beschreibung aller korrekten Hypothesen Starke Abhängigkeit von H

22 Versions-Räume Def.: Eine Hypothese h ist konsistent mit einer Trainingsmenge T für ein Zielkonzept c, gdw. für jede Instanz in T: h(x) = c(x) Def.: der Versions-Raum VS H,T in Bezug auf eine Hypothesen-Menge H und eine Trainingsmenge T ist die maximale Teilmenge von H, die mit allen Instanzen in T konsistent ist.

23 List-then-eliminate-Algorithmus Ziel: schränke den Versionsraum sukzessive ein Vorgehen: –1. Versions-Raum VS H,T = Menge aller Hypothesen –2. für jede Instanz der Trainigsmenge T, eliminiere aus VS H,T diejenigen h aus H für die h(x) c(x) –3. Ergebnis ist die Liste VS H,T

24 Repräsentation des Versions- Raums Idee: repräsentiere den VS durch obere und untere Schranken bzgl. Der allgemeiner-oder-gleich Relation

25 Repräsentation des Versions- Raums Def.: Die allgemeine Schranke G des Versions- Raums VS H,T ist die Menge seiner maximal allgemeinen Elemente (bzgl g ). Def.: Die spezifische Schranke S des Versions-Raums VS H,T ist die Menge seiner maximal spezifischen Elemente (bzgl g ). Jedes Element des Versions-Raums liegt zwischen diesen Schranken: –VS H,T = {h H| s S und g G: g h s}

26 Candidate Elimination Algorithmus Idee: statt VS H,T komplett zu durchlaufen, modifiziere in jedem Schrit S und G Setze: –G = Menge der maximal allgemeinen Hypothesen in H –S = Menge der maximal spezifischen Hypothesen in H Für jedes positive Trainingsbeispiel t: –Entferne alle mit t inkonsistenten Hypothesen aus G –Für jede Hypothese s in S, die nicht konsistent mit t ist: Entferne s aus S Füge alle minimalen Generalisierungen h von s hinzu, so dass 1.h ist konsistent mit t 2.Es gibt in G ein allgemeineres Element als h Entferne alle Hypothesen aus S, die allgemeiner als andere Hypothesen in S sind

27 Candidate Elimination Algorithmus Für jedes negative Trainingsbeispiel t: –Entferne alle mit t inkonsistenten Hypothesen aus S –Für jede Hypothese g in G, die nicht konsistent mit t ist: Entferne g aus G Füge alle minimalen Spezialisierungen h von g hinzu, so dass 1.h ist konsistent mit t 2.Es gibt in S ein spezifischeres Element als h Entferne alle Hypothesen aus G, die spezifischer als andere Hypothesen in G sind

28 Was heißt Lernen? Gegeben: –, + Frage: –,?

29 Was heißt Lernen? Gegeben: –, + Vorschlag: –,+ Warum?

30 Was heißt Lernen? Gegeben: –, + Vorschlag: –,+ Wegen: –

31 Grundannahmen Hypothesen sind Konjunktionen von Constraints Ohne Einschränkung: Hypothesen sind Disjunktionen, Konjunktionen oder Negationen über der Potenzmenge von X: – Alternative Grundannahme: –klassifiziere x gdw. wenn x in T

32 Zusammenfassung Lernen von Konzepten = Durchsuchen von Hypothesen Hypothesen lassen sich nach Spezifizität bzw. Allgemeinheit anordnen Versions-Raum = Menge der mit T konsistenten Hypothesen Versions-Raum lässt sich charakterisieren durch obere und untere Schranken Induktionsschritte nur möglich durch Zusatzannahmen bzgl H

33 Aufgaben Wie groß ist der Hypothesenraum für das Lernbeispiel? Prinzipiell gibt es mehr mögliche Funktionen, die die Zielfunktion approximieren können als H! Welche? Was besagt die Annahme einer Konjunktion von Constraints? Was ist die Konsequenz für die beschriebenen Verfahren ? Was passiert, wenn man diese Annahme nicht macht? Wie groß ist dann der Hypothesen-Raum? Wie sehen S und G in diesem Fall aus?


Herunterladen ppt "Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten."

Ähnliche Präsentationen


Google-Anzeigen