Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Frank Puppe 1 Künstliche Intelligenz: 20. Statistische Lernmethoden Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV.

Ähnliche Präsentationen


Präsentation zum Thema: "Frank Puppe 1 Künstliche Intelligenz: 20. Statistische Lernmethoden Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV."—  Präsentation transkript:

1 Frank Puppe 1 Künstliche Intelligenz: 20. Statistische Lernmethoden Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen 19. Wissen beim Lernen 20. Statistische Lernmethoden 21. Verstärkungslernen VII Kommunizieren, Wahrnehmen und Handeln

2 Frank Puppe 2 Künstliche Intelligenz: 20. Statistische Lernmethoden Lernen der Netzstruktur bzw. der Wahrscheinlichkeitstabellen: Bekannte Netzstruktur, beobachtbare Variablen: Update der Wahrscheinlichkeitstabellen Bekannte Netzstruktur, teilweise versteckte Variablen: EM-Algorithmus Unbekannte Netzstruktur, beobachtbare Variablen: Suchproblem durch mögliche Netzstrukturen Unbekannte Netzstruktur, teilweise versteckte Variablen: Offenes Forschungsproblem (z.B. strukturierter EM-Algo) Lernen in Bayes'schen Netzen

3 Frank Puppe 3 Künstliche Intelligenz: 20. Statistische Lernmethoden Lernen von Wahrscheinlichkeitstabellen Gegeben ist die Netztopologie und N Fälle: – Apriori-Wahrscheinlichkeiten P(D): |D| / N – bedingte Wahrscheinlichkeiten P(S|D): |S D| / |D| Problem: Unbeobachtete Variablen (Null-Wahrscheinlichkeiten) Vereinfachung Bayesscher Netze zu naiven Bayes Modellen – Unabhängigkeitsannahme in naiven Bayes Modellen – Formel (Wdh): P (C | x 1, … x n ) = P(C) i P(x i |C) – Verbesserung durch Boosting: Neue Hypothesen werden dadurch erzeugt, das falsch bewertete Fälle stärker gewichtet werden (äquivalent zur Vervielfachung dieser Fälle) – Sehr effizientes Lernverfahren (keine Suche erforderlich) – Eines der effektivsten allgemeinen Lernverfahren

4 Frank Puppe 4 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel: Restaurant-Daten

5 Frank Puppe 5 Künstliche Intelligenz: 20. Statistische Lernmethoden Vorteile versteckter Variablen Wenn jede Variable 3 mögliche Werte hat, geben die Zahlen bei den Knoten die Größe der Wahrscheinlichkeitstabellen an. Man beobachtet eine starke Zunahme von (a) mit versteckter Variable nach (b) ohne versteckte Variable

6 Frank Puppe 6 Künstliche Intelligenz: 20. Statistische Lernmethoden Expectation-Maximization (EM) Algorithmus Der EM-Algorithmus ist eine Familie von Algorithmen zur iterativen Approximation in Systemen mit versteckten Größen. Anwendbar u.a. für: – für Gaussche Dichteverteilungen – für Bayessche Netze – für Hidden Markov Modelle EM berechnet Erwartungswerte für die versteckten Größen basierend auf den beobachteten Größen und der gemeinsamen Verteilung. EM konvergiert gegen ein lokales Maximum, die Qualität der Lösung ist nicht zwingend gut (abhängig vom Startwert).

7 Frank Puppe 7 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für Dichteverteilungen: Clustering Gegeben: Menge von Punkten Gesucht: k Cluster für Punkte Lösungsidee EM-Algorithmus: – Initialisierung: Gib eine Gaussverteilung mit den Parametern Gewicht, Mittelwert und Covarianz (oder bei K-Means-Clustering vereinfacht einen Mittelpunkt) für jedes Cluster vor. – E-Schritt (Expectation): Berechne die Wahrscheinlichkeit für jeden Punkt, dass er zu einem Cluster gehört – M-Schritt (Maximation): Aktualisiere aus der berechneten Zugehörigkeit der Punkte für alle Cluster seine Parameter – Terminierung: Wiederhole, bis nur noch geringe Änderungen

8 Frank Puppe 8 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für Bayessches Netz Aufgabe: Es gibt 2 Beutel (bags) mit Bonbons. Die Bonbons haben 3 Attribute: Geschmack: Kirsche, limone (flavor: cherry, lime); Verpackung: rot, grün (wrap- per: red, green) & Löcher: mit, ohne (holes: yes, no). Die beiden Beutel haben jeweils verschiedene Wahrscheinlichkeiten für Bonbontypen. Aus beiden Beu- teln sind unbekannt viele Bonbons entnommen (s. Tabelle mit 1000 Bonbons). Kann man daraus auf die Wahrscheinlichkeitsverteilung der Beutel schließen? Wenn wir wüssten, welche Bonbontypen aus welchen Beuteln kommen, bräuch- ten wir nur Häufigkeiten verrechnen (s.o.). Wir wissen es aber nicht! Geschätzt werden soll: : P(Bag=1) F1 : P(F=cherry | Bag1) F2 : P(F=cherry | Bag2) W1 : P(W=red | Bag1) …

9 Frank Puppe 9 Künstliche Intelligenz: 20. Statistische Lernmethoden Ziel: Werte für die Apriori-Wahrscheinlichkeit der Beutel, d.h. = P(Bag1) und der bedingten Wahrscheinlichkeiten: F1 = P(Flavor = Cherry | Bag1) W1 = P(Wrapper = Red | Bag1) H1 = P(Hole = Yes | Bag1) F2 = P(Flavor = Cherry | Bag2) W2 = P(Wrapper = Red | Bag2) H2 = P(Hole = Yes | Bag2) Vorgehen (1. Iteration): – Rate alle Parameter, z.B. = 0,5; F1 = W1 = H1 =0,8; F2 = W2 = H2 =0,3 – Berechne für verborgene Variablen (z.B. Bag1) die erwartete Häufigkeit = = – erwartete Häufigkeit von rotverpackten Kirsch-Bonbons mit Loch aus Beutel1 = 273 * = 228, analog für Rest: – erwartete Häufigkeit von Bonbons aus Beutel1: = 612. – Berechne daraus = P(Bag1) = / N = 612 / 1000 = 0,612 – Das gleiche für übrige Häufigkeiten bzw. bedingte Wahrscheinlichkeiten – Ergebnis: =0,61; F1 =0,67 W1 =0,65 H1 =0,66; F2 =0,39 W2 =0,38 H2 =0,38 EM Lösung für Bayes-Beispiel (1. Schritt)

10 Frank Puppe 10 Künstliche Intelligenz: 20. Statistische Lernmethoden EM Lösung für Bayes-Beispiel (Iteration) Die neuen Parameter, F1, W1, H1, F2, W2, H2 nach der ersten Iteration erhöhen die Passgenauigkeit von Modell und Daten (Logorithmus der Likelihood) beträchtlich (Faktor e 23 ) Iteriere solange, bis sich die "Loglikelihood" nicht mehr stark erhöht (loka- les Maximum) durchgezogene Kurve zeigt Verbesserung nach Anzahl von Iterationen ab 10 Iterationen besser als Originaldaten, (gestri- chelte Linie) danach kaum nach Anstieg

11 Frank Puppe 11 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für Hidden Markov-Modell HMM entsprechen Bayes-Netzen mit nur einer diskreten Zustandsvariablen – Gegeben: endliche Beobachtungssequenzen (z.B. Schirme), Initialmodell – Gesucht: Modell mit Zustandsübergangswahrscheinlichkeiten, Zustands- Beobachtungswahrscheinlichkeiten und Zustandsanfangswahrscheinlichk. Aktualisierungsfunktion für Zustandsübergangswahrscheinlichkeit (zeitunab- hängig): wie oft wurde von einem bestimmten Zustand i Zustand j erreicht? Dabei werden Erwartungs- werte mit HMM-Inferenz- Algorithmus berechnet.

12 Frank Puppe 12 Künstliche Intelligenz: 20. Statistische Lernmethoden Allgemeine Form des EM Algorithmus Gegeben: Beobachtbare Variablen x, Anfangsmodell Expectation-Schritt: Berechnung der versteckten Variablen Z = z Maximization-Schritt: Berechnung der neuen Modellparameter – Bei Gaussverteilungen: Mittelwert, Varianz, (Gewichte), usw. – Bei Bayesschen Netzen: Wahrscheinlichkeitstabellen – Bei HMM: Wahrscheinlichkeiten von einem Zustand zum nächsten und zu Beobachtungen (Zeitinvariant!), Anfangswahrscheinlichkeit für Zustand.

13 Frank Puppe 13 Künstliche Intelligenz: 20. Statistische Lernmethoden Andere Darstellung für EM (Sem-Vortrag) Sequenz von Observablen X= x 1... x n Gesucht ist Modell Θ um X zu beschreiben Problem: versteckte Parameter Y = y 1...y m führen zu unvollständigen Daten - systematische Unvollständigkeit Y ist grundsätzlich nicht beobachtbar - zufällige Unvollständigkeit Y wird von dem verwendeten Sensor nicht erfasst Definition: Z = (X,Y) ist der vollständige Datensatz

14 Frank Puppe 14 Künstliche Intelligenz: 20. Statistische Lernmethoden EM (andere Darstellung 2) Wahrscheinlichkeitsverteilung der vollständigen Daten: p(Z | Θ) = p(X,Y| Θ) = p(Y|X, Θ) * p(X| Θ) Likelihood-Funktion der vollständigen Daten: L(Θ|Z) = L(Θ|X,Y) = P(X,Y| Θ) EM-Prinzip: 1. Berechne Erwartungswert für die versteckten Variablen basierend auf Θ und X ( E-Schritt) 2. Maxmiere Erwartungswert bezüglich neuen Parametern Θ (M-Schritt) ( Wiederhole 1. und 2. )

15 Frank Puppe 15 Künstliche Intelligenz: 20. Statistische Lernmethoden EM (andere Darstellung 3) Spezifikation der Zielfunktion Q(Θ, Θ i-1 ) = E [ log p(X,Y| Θ) | X, Θ i-1 ] Y ist Zufallsvariable mit Verteilung f( y |X, Θ i-1 ), dann gilt E [ log P(X,Y|Θ) | X, Θ i-1 ] = log p( X,Y | Θ) f( y |X, Θ i-1 ) => Q(Θ, Θ i-1 ) ist nun eine analytisch berechenbare Funktion EM-Prinzip II: E-Schritt: Berechne Q(Θ, Θ i-1 ) M-Schritt: Berechne Θ = argmax Q(Θ, Θ i-1 ) ( Iteration bis zur Konvergenz ) Θ

16 Frank Puppe 16 Künstliche Intelligenz: 20. Statistische Lernmethoden EM-Übersicht (andere Darstellung 4) Wahl des Anfangs- parametersatzes hat hat Einfluß auf die Güte der Lösung. Auswertung von Q(Θ i+1, Θ i ) Auswertung von: Θ = argmax Q(Θ, Θ) Θ Abbruch der Iteration durch geeignetes Konvergenzkriterium || Θ i+1 - Θ i || < ε

17 Frank Puppe 17 Künstliche Intelligenz: 20. Statistische Lernmethoden Lernen unbekannter Bayesscher Netzstrukturen Untypische Situation, da die Struktur von Netzen, d.h. von Kausalitäten im allgemeinen gut Experten geschätzt werden kann. Strukturelle Lernalgorithmen noch nicht ausgereift Basisidee: Suche von Netzstrukturen – Starte mit leerem Netz und füge schrittweise Variablen hinzu – Starte mit fertigem Netz und modifiziere es Kernproblem: Qualitätsfunktion zur Bewertung von Netzen – Test auf Unabhängigkeiten (Problem: Schwellwerte) – Test auf Erklärungsfähigkeit der Daten (Problem: Overfitting) Bestrafung von Komplexität erforderlich

18 Frank Puppe 18 Künstliche Intelligenz: 20. Statistische Lernmethoden Instanzen-basiertes Lernen Bisher: parametrisches Lernen: Aus den Beispielen werden die Parameter eines vorgegebenen Modells gelernt Komplexität der Hypothese vorgegeben Nicht-parametrisches Lernen: Komplexität der Hypothese kann mit Daten wachsen; Instanzen-basierte Lernmethoden: – Nearest-Neighbor Modelle

19 Frank Puppe 19 Künstliche Intelligenz: 20. Statistische Lernmethoden Nearest-Neighbor Modelle (Fallbasiertes Schließen) Annahme: Ähnliche Fälle haben ähnliche Lösungen Problem: Wie definiert man Ähnlichkeit bzw. Distanz? – kontinuierliche Werte: Euklidische Distanz: (Wurzel aus Summe der Quadrate der Einzeldifferenzen pro Attribut) Wenn Normalisierung erforderlich: Abstand zweier Werte in Vielfachen der Standardabweichung Differenz der Werte / Max-Differenz – diskrete Werte Hamming-Distanz: Anzahl unterschiedlicher Attribute / alle Attribute gewichtete Hamming-Distanz mit partiellen Ähnlichkeiten – Datenabstraktion nützlich Eigenschaften: keine Lernzeit aber bei großer Fallzahl langsam – schnelles Fallretrieval notwendig (erfordert passende Datenstrukturen, die gelernt werden müssen)

20 Frank Puppe 20 Künstliche Intelligenz: 20. Statistische Lernmethoden Aufbau natürlicher & künstlicher Neurone

21 Frank Puppe 21 Künstliche Intelligenz: 20. Statistische Lernmethoden Verschiedene Aktivierungsfunktionen (a) Stufenfunktion (nicht differentierbar) (b) Sigmoidfunktion (differentierbar) exakte bzw. ungefähre Schwelle (Defaultmäßig bei in i = 0) kann durch "Bias- Weight" W 0 verschoben werden

22 Frank Puppe 22 Künstliche Intelligenz: 20. Statistische Lernmethoden Simulation logischer Gatter

23 Frank Puppe 23 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für einfaches neuronales Netz vorwärtsgerichtetes, mehrschichtiges Netz a 5 = g(W 3,5 * a 3 + W 4,5 * a 4 ) = g(W 3,5 * g(W 1,3 * a 1 + W 2,3 * a 2 ) + W 4,5 * g(W 1,4 * a 1 + W 2,4 * a 2 )) Input: (x 1, x 2 ) = (a 1, a 2 ) Output a 5 ist Funktion des Inputs (g = Akti- vierungs- funktion):

24 Frank Puppe 24 Künstliche Intelligenz: 20. Statistische Lernmethoden Generische Lernprozedur in Neuronalen Netzen

25 Frank Puppe 25 Künstliche Intelligenz: 20. Statistische Lernmethoden vorwärtsgerichtete (feedforward) Netze - Perzeptrons: ohne versteckte Knoten - Mehrebenen-Netze: mit versteckten Knoten zirkuläre (recurrent) Netze (output input): schwierig zu verstehen, z.B.: - Hopfield-Netze: mit bidirektionalen Kanten und symmetrischen Gewichten, alle Knoten sind sowohl Ein- als auch Ausgabeknoten - Boltzmann Maschinen: mit bidirektionalen Kanten und symmetrischen Gewichten, mit inneren Knoten, stochastische Aktivierungsfunktion Typen von Neuronalen Netzstrukturen

26 Frank Puppe 26 Künstliche Intelligenz: 20. Statistische Lernmethoden Perceptrons: Struktur

27 Frank Puppe 27 Künstliche Intelligenz: 20. Statistische Lernmethoden Basis-Perzeptron-Lernalgorithmus (nach Rojas) Beispiele (Punkte): x 1 - x n, die positiv (P) oder negativ (N) bewertet sind. Zusammengefasst als Vektor x. Gewichte w 0 – w n werden zum Anfang zufällig generiert und dann in jeder Iteration t für jedes Beispiel modifiziert. Zusammengefasst als Vektor w mit Index t: w t

28 Frank Puppe 28 Künstliche Intelligenz: 20. Statistische Lernmethoden Aktivierung eines Output-Neurons O (g = Stufenfunktion) : O = g ( i w i x i ) Der Fehler eines Output-Neurons pro Beispiel ist der korrekte Output T minus dem tatsächlichen Output O: Fehler = T – O = T - g ( i w i x i ) Er muss auf alle Inputs entsprechend ihrem Beitrag zu O verteilt wer- den. Der Beitrag des Inputsneurons j ist w j x j. Falls x j positiv, führt eine Erhöhung von w j zu einer Erhöhung des Gesamtoutputs, sonst zu einer Erniedrigung. Daraus folgt Aktualisierungsregel für jedes w j : w j w j + * x j * Fehler Konstante heißt Lernrate. Perceptron-Lernformel (einfache Form)

29 Frank Puppe 29 Künstliche Intelligenz: 20. Statistische Lernmethoden Verbesserung der Perceptron-Lernformel Die einfache Aktualisierung der Gewichte konvergiert immer mit den korrekten Werten, wenn die zu lernende Funktion linear separierbar ist (s. nächste Folie). Allerdings kann es exponentiell lange dauern! Effizienzverbesserungen: – Normierung aller Eingabedaten – Delta-Regel: Die Gewichte werden nicht um das Produkt (Eingabewert * Fehler) sondern um den minimalen Betrag geändert, der erforderlich ist, um das Beispiel richtig zu klassifizieren

30 Frank Puppe 30 Künstliche Intelligenz: 20. Statistische Lernmethoden Lineare Trennbarkeit in Perceptrons Während die "und" und die oder-funktion linear trennbar sind (a und b), ist die XOR-Funktion (c) nicht linear trennbar und kann daher von einem Perceptron nicht gelernt werden!

31 Frank Puppe 31 Künstliche Intelligenz: 20. Statistische Lernmethoden Lernkurven bei Percpetrons (a): Mehrheitsfunktion mit 11 Inputs (b) Restaurant-Beispiel

32 Frank Puppe 32 Künstliche Intelligenz: 20. Statistische Lernmethoden Mehrebenen - Netz

33 Frank Puppe 33 Künstliche Intelligenz: 20. Statistische Lernmethoden Backpropagation-Lernen Unterschiede zu Perceptrons: - Es gibt mehrere Outputs, daher ist der Output ein Vektor h w (x), der mit dem Beispiel-Output-Vektor y verglichen wird: Fehler = y – h w - Auch für hidden layers muss ein Fehler berechnet werden, deswegen muss Aktivierungsfunktion differenzierbar sein (Sigmoid- statt Stufen- Funktion) Gewichtsänderung der Output-Neuronen - W j,i W j,i + * a j * i mit i = Fehler i * g'(in i ) Gewichtsänderung der versteckten Neuronen - Wir brauchen Äquivalent für Fehler der Output-Neuronen - Idee: der versteckte Knoten j ist für einen Teil des Fehlers bei i verant- wortlich. Die i Werte werden entsprechen der Stärke ihrer Verbindun- gen zwischen versteckten Knoten und Output-Knoten aufgeteilt und rückwärts propagiert, um die j -Werte der versteckten Ebene zu liefern - j = g'(in j ) ( i W j,i i ) - Gewichtsänderungsregel: W k,j W k,j + * a k * j

34 Frank Puppe 34 Künstliche Intelligenz: 20. Statistische Lernmethoden Restaurant-Beispiel: Lernkurve (a) langsame Reduktion der Fehler über verschiedene Epochen beim Backpropagation Lernen (b) Vergleich der Lernkurven beim Backpropagation und Entscheidungsbaumlernen

35 Frank Puppe 35 Künstliche Intelligenz: 20. Statistische Lernmethoden Bei Netzwerkstrukturen mit zu vielen Knoten kommt es zur Überanpassung bis zum Auswendiglernen, bei zu wenig Knoten kann das Netz unfähig sein, die gewünschte Funk- tion zu repräsentieren. Bisher gibt es keine guten Heuristiken, um die optimale Netzwerkgröße für ein gegebenen Problem abzuschätzen. Eine Idee besteht darin, daß man mit einem kleinen Netz startet und nach Bedarf Knoten hinzufügt. Optimale Netzwerkstrukturen

36 Frank Puppe 36 Künstliche Intelligenz: 20. Statistische Lernmethoden Ausdrucksstärke: Abhängig von Netztopologie Berechnungseffizienz: Langsame Lernrate, Lokale Minima Generalisierungsfähigkeit: Gut, wenn Output sich kontinuierlich mit dem Input verändert Sensitivität für Rauschen: Sehr tolerant Transparenz: Black Box Integrierbarkeit von Vorwissen: Schwierig Diskussion des Backpropagation-Lernen

37 Frank Puppe 37 Künstliche Intelligenz: 20. Statistische Lernmethoden Kernel Machines (Support Vector Machines) Kernel machines kombinieren Vorteile von Perceptrons (einfacher und effizienter Lernalgorithmus) und Mehrebenen- netze (Ausdrucksstärke) Zentrale Idee: Benutze lineare Separatoren, aber in einem veränderten (höherdimensionierten) Zustandsraum Neues Problem: Gefahr der Überanpassung, da in einem d- dimensionalen Raum d Parameter für linearen Separator erforderlich sind, wenn N (Anzahl der Datenpunkte) d. Lösung: Suche nach optimalen linearen Separatoren (mit größtem Abstand zwischen positiven auf der einen und negativen Beispielen auf der anderen Seite): Finde Parameter i, die folgenden Ausdruck maximieren (Beispiele x i mit Klassifikation y i ): i i – ½ i,j i j y i y j (x i * x j ) mit i > 0 und i i y i = 0

38 Frank Puppe 38 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für lineare Trennbarkeit nach Transformation (a) 2-dimensionale Daten (positive Beispiele im Kreis) (b) gleichen Daten nach Abbildung in 3-dimensionalen Raum (x 1 2,x 2 2, 2x 1 x 2 )

39 Frank Puppe 39 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel für optimalen Separator Der optimale Separator aus der letzten Folie (nur 2 der 3 Dimensionen gezeigt) ist die dicke Linie, die den abstand zu den nächsten Punkten, den Stützvektoren (support vectors, markiert mit Kreisen) maximiert.

40 Frank Puppe 40 Künstliche Intelligenz: 20. Statistische Lernmethoden Transformation in höherdimensionierten Raum i i – ½ i,j i j y i y j (x i * x j ) mit i > 0 und i i y i = 0 Eigenschaften: – Der Ausdruck hat ein einziges globales Maximum, das effizient gefunden werden kann! – Die Daten gehen nur als Punkt-Produkte benachbarter Punkte in die Gleichung ein! – Die i sind nur für die Stützvektoren 0, daher ist die effektive Anzahl von Parametern relativ klein (<< N)! Transformation – Suche Separator in hochdimensionalen Merkmalsraum F(x) – Ersetze dazu x i * x j durch F(x i )* F(x j ), wobei das Punktprodukt oft ausgerechnet werden kann, ohne F für jeden Punkt zu berechnen, z.B. F(x i )* F(x j ) = (x i * x j ) 2 – (x i * x j ) 2 hießt Kernfunktion (kernel function): K (x i,x j ) – allgemein: (x i * x j ) wird durch eine Kernfunktion K (x i,x j ) ersetzt – viele Kernfunktionen (auch sehr hochdimensionale) möglich

41 Frank Puppe 41 Künstliche Intelligenz: 20. Statistische Lernmethoden Umgang mit verrauschen Daten Kernel machines eignen sich auch für Daten, die sich nicht fehlerfrei trennen lassen. Dazu muss ein Parameter vorgegeben werden, der die erwartete Fehlerspanne charakterisiert. Der Basisalgorithmus ändert sich nicht.

42 Frank Puppe 42 Künstliche Intelligenz: 20. Statistische Lernmethoden Diskussion Kernel / Support Vector Machines Sehr mächtiges Lernverfahren Ähnlich wie, aber mit Vorteilen gegenüber Neuronalen Netzen Erfreut sich in letzter Zeit zunehmender Beliebtheit

43 Frank Puppe 43 Künstliche Intelligenz: 20. Statistische Lernmethoden Beispiel: Erkennen handgeschriebener Ziffern Standard-Benchmark-Problem mit Datenbank von markierten Ziffern in 20*20=400 Pixeln mit 8 Graustufen (oben leicht, unten schwer identifizierbare Beispiele)

44 Frank Puppe 44 Künstliche Intelligenz: 20. Statistische Lernmethoden Getestete Lernverfahren Nearest Neighbor (ohne Anpassungen und Parametereinstellungen) Neuronales Netz mit einer versteckten Ebene: – 400 Input Knoten (pro Pixel) – 10 Output Knoten (pro Ziffer) – 300 versteckte Knoten (mit Kreuzvalidierung optimiert) – Gewichte Spezialisierte Neuronale Netze (LeNet): – optimiert bezüglich der Struktur des Problems Neuronales Netz (LeNet) mit Boosting von 3 Hypothesen Support Vector Machine ohne Anpassungen und Parametereinstellungen Virtuelle Support Vector Machine – Startet mit Ergebnis der Support Vector Machine – Nachträgliche Optimierung mit Ausnutzen der Struktur des Problems Gestaltvergleich (shape matching): Technik vom Computersehen mit Abgleich korrepondierender Punkte zwischen 2 Bildern

45 Frank Puppe 45 Künstliche Intelligenz: 20. Statistische Lernmethoden Testergebnisse Menschen haben angeblich eine Fehler eine Fehlerquote von 0,2% für dieses Problem (nach anderen Quellen aber 2,5%). Die Fehlerraten bewegen sich zwischen 2,4% (Nearest Neighbor) und 0,56% (Virtual Support Vector Machine). Neuronale Netze liegen dazwischen.


Herunterladen ppt "Frank Puppe 1 Künstliche Intelligenz: 20. Statistische Lernmethoden Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV."

Ähnliche Präsentationen


Google-Anzeigen