Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Machine Learning Neuronale Netze 2 (Mitchell Kap. 4)

Ähnliche Präsentationen


Präsentation zum Thema: "Machine Learning Neuronale Netze 2 (Mitchell Kap. 4)"—  Präsentation transkript:

1 Machine Learning Neuronale Netze 2 (Mitchell Kap. 4)

2 Kombination mehrerer Neuronen zwei Klassen, die nicht linear separierbar sind: zwei innere Knoten und ein Output-Knoten Beispiel y h 1 h 2 A A A A A A A A A B B B B A B B A A A A A A B B

3 Mehrschichtiges Netzwerk n Eingabeneuronen X1X1 X2X2 … XnXn W 11 W 12 W 1p W n1 W n2 W np Y1Y1 Y2Y2 YmYm …… V 11 V 12 V 1m V p1 V p2 V pm m Ausgabeneuronen p verborgene Neuronen (Hidden layer) Gewichtsmatrix W Gewichtsmatrix V

4 Design der Netztopologie Bestimmung von Anzahl der Input-Knoten Anzahl der inneren Schichten und jeweilige Anzahl der Knoten Anzahl der Output-Knoten starker Einfluß auf die Klassifikationsgüte: zu wenige Knoten niedrige Klassifikationsgüte zu viele Knoten Overfitting

5 Aktivierungsfunktionen

6 Sigmoid Einheit Sigmoid-Funktion:

7 Sigmoid Einheiten Vorteile: –Ausgabefunktion differenzierbar –Einfache Berechnung des Gradienten –Mehrschichtige Netze aus Sigmoid-Einheiten: Training durch Backpropagation Propagiere Trainingsbeispiel durchs Netz Berechne rückwärts Schicht für Schicht (ausgehend von den Ausgabeneuronen) die Deltas

8 Beispiel 2-schichtiges Netz zur Erkennung von gesprochener Sprache: Laut zwischen h_d

9 Lernen mehrschichtiger Netze Prinzipiell zu lernen: –Entwicklung neuer Verbindungen –Löschen existierender Verbindungen –Modifikation der Verbindungsstärke (Veränderung der Gewichte) –Modifikation des Schwellenwertes –Modifikation der Aktivierungs- bzw. Ausgabefunktion –Entwicklung neuer Zellen –Löschen bestehender Zellen In der Praxis: –Nur Gewichtsmodifikation

10 Backpropagation Algorithmus Prinzipiell verläuft der Lernprozess wie bei den Perzeptronen: –Dem Netz werden Beispiele vorgelegt. –Stimmt der Ausgabevektor mit den erwarteten Werten überein, dann muss nichts gemacht werden. –Liegt aber ein Fehler vor, d.h. eine Differenz zwischen Ausgabe und Ziel, dann müssen die Gewichte angepasst werden.

11 Backpropagation Algorithmus In einem Rückwärts-Check (Fehlerrückvermittlung) werden nun die einzelnen Gewichte im Netz (durch ) nach oben oder unten korrigiert. Der Tendenz nach so, daß das Ergebnis im zurückverfolgten Traingsbeispiel richtiger geworden wäre. Dies führt nach einer Anzahl von Trainingsbeispielen zu einem verbesserten Antwortverhalten des Netzes.

12 Backpropagation Algorithmus Belege die Gewichte w 1...w n sowie die Schwellenwerte mit zufälligen Werten. Wähle einen Eingabevektor aus, zu dem es eine Soll-Aktivierung gibt. –1. Vorwärtsvermittlung: aktiviere die Eingabeschicht, danach schrittweise die Zwischenschichten 1....m und anschließend die Ausgabeschicht –2. Fehlerrückvermittlung: ermittle die -Werte für die Ausgabeschicht, danach schrittweise rückschreitend die -Werte für die Zwischenschichten m ändere die Gewichte und Schwellenwerte

13 Backpropagation Algorithmus kann folgendermaßen zusammengefaßt werden:

14 Backpropagation Algorithmus

15 Absteigender Gradient

16 Abbruchbedingungen Anzahl der Iterationen Schwellenwert für quadratischen Fehler –In Bezug auf Trainingsmenge (-> große Gefahr von Overfitting) –In Bezug auf separate Testmenge (-> Vermeidung von Overfitting!) = Cross- Validation Schwellenwert für Veränderung zum vorigen Schritt

17 Probleme Lokale Minima Flache Plateaus

18 Verbesserungen Momentum –Häufig wird ein zusätzlicher Faktor (Momentum) hinzugefügt: –Idee: Überwindung flacher Plateaus Evt. Auch Überwindung lokaler Maxima Paralleles Training mit versch. Initialwerten

19 Netztopologie Statische Topologie: –Topologie wird apriori festgelegt –eine verborgene Schicht reicht in vielen Anwendungen aus Dynamische Topologie –dynamisches Hinzufügen von Neuronen (und verborgenen Schichten) –solange Klassifikationsgüte signifikant verbessert wird Multiple Topologien –Trainieren mehrer dynamischer Netze parallel –z.B. je ein Netz mit 1, 2 und 3 verborgenen Schichten

20 Backward Netzwerke = mehrschichtige Netzwerke von Sigmoid-Einheiten U.U. sehr lange Trainingsphase (mehrere Tausend Iterationen) Nach Training extrem schnell Große Ausdruckskraft: –Jede Boolesche Funktion kann durch ein 2-schichtiges Netz (1 Hidden Layer) repräsentiert werden (-> disjunktive Normalform) –Jede beschränkte stetige Funktion kann beliebig durch ein 2- schichtiges Netz approximiert werden –Jede beliebige Funktion kann durch ein 3-schichtiges Netz (2 Hidden Layers) beliebig approximiert werden

21 Anwendungsbeispiele Texterkennung bei OCR Software, die sich auf gewisse Schriftformen trainieren läßt. Auch bei der Handschrifterkennung für PDA´s (Personal Digital Assistant), wie dem Apple Newton, kommen NN zu Einsatz. 1989: Erkennen von Postleitzahlen auf handgeschriebenen Briefumschlägen. –Das gesamte Netz benutzte nur 9760 Gewichte! –Das Netz wurde mit 7300 Beispielen trainiert und auf 2000 Beispielen getestet.

22 Gesichtserkennung

23

24 Aufgaben Bitte installieren und testen Sie die Programme zur Gesichtserkennung (Linux!) Bitte befolgen Sie dabei die Anleitung eo-8/faceimages/docs/hw97.ps eo-8/faceimages/docs/hw97.ps Bitte beschreiben Sie Ihre Erfahrungen: –Liess sich das Programm installieren? –Wie ist es zu bedienen? –Was/wie haben Sie das Programm ausprobiert und was waren die Resultate?


Herunterladen ppt "Machine Learning Neuronale Netze 2 (Mitchell Kap. 4)"

Ähnliche Präsentationen


Google-Anzeigen