Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze Jörg Krone, Ulrich Lehmann,

Ähnliche Präsentationen


Präsentation zum Thema: "SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze Jörg Krone, Ulrich Lehmann,"—  Präsentation transkript:

1 SS Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle, Michael Schneider

2 SS Konzepte des Konnektionismus (KNN) R4 Inhalt a.Zellen des KNN als stark idealisierte NeuronenZellen des KNN als stark idealisierte Neuronen b.Komponenten eines KNNKomponenten eines KNN c.Zelltypen nach Position im Neuronalen NetzZelltypen nach Position im Neuronalen Netz d.Beispiel: NN für XOR-Netzwerk mit zwei EingängenBeispiel: NN für XOR-Netzwerk mit zwei Eingängen e.Ausgabe- und AktivierungsfunktionenAusgabe- und Aktivierungsfunktionen f.Topologie Künstlich Neuronaler NetzeTopologie Künstlich Neuronaler Netze g.Bedeutung des SchwellwertesBedeutung des Schwellwertes h.LernregelLernregel

3 SS Konzepte des Konnektionismus (KNN) R4 Zellen des KNN als stark idealisierte Neuronen (Text) Begriffe und Definitionen: –Konnektionismus: –Konnektionismus: Synonym für das Wissensgebiet der künstlich neuronalen Netze = neuronale Modelle –Def. Konnektionismus: Konnektionismus: Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die anregende (positive Gewichte) oder hemmende (negative Gewichte) Signale an andere Zellen senden. –neuronale Zelle = Neuron (Element, Unit)

4 SS Konzepte des Konnektionismus (KNN) R4 Zellen als stark idealisierte Neuronen Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die – anregende (positive Gewichte) Signale oder – hemmende (negative Gewichte) Signale an andere Zellen senden.

5 SS Konzepte des Konnektionismus (KNN) R4 Komponenten eines Künstlich Neuronalen Netzes (Neuron, Aktivierung, Schwellwert) Neuron: Aktivierungszustand (activation) a j (t) gibt den Grad der Aktivierung einer Zelle an. Aktivierungsfunktion f act :Aktivierungsfunktion f act : Sie gibt an, wie sich ein neuer Aktivierungszustand a j (t + 1) des Neurons j aus der alten Aktivierung a j (t) und der Netzeingabe (net input) net j (t) berechnet: f act a j (t + 1) = f act (a j (t), net j (t), j ) wobei j der Schwellwert des Neurons j ist. j

6 SS Konzepte des Konnektionismus (KNN) R4 Komponenten eines Künstlich Neuronalen Netzes (Ausgabe, Gewichte) Ausgabefunktion f out : Die Ausgabe der Zelle j wird durch eine sogenannte Ausgabefunktion aus der Aktivierung der Zelle berechnet: o j = f out (a j ) meistens f out = Identität Verbindungsnetzwerk der Zellen: Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen. Das Gewicht (weight) der Verbindung von Zelle i nach j wird hier durch w ij bezeichnet!

7 SS Konzepte des Konnektionismus (KNN) R4 Komponenten eines Künstlich Neuronalen Netzes (Propagierung) Propagierungsfunktion: gibt an, wie sich die Netzeingabe eines Neurons aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten berechnet. Die Netzeingabe von Zelle j berechnet sich: net j (t) = i o i (t) w ij aus der Summe der Ausgaben o i (t) der Vorgängerzellen multipliziert mit dem jeweiligen Gewicht w ij der Verbindungen von Zelle i nach Zelle j. Die Gewichte w ij können positiv (anregend) und negativ (hemmend) sein.

8 SS Konzepte des Konnektionismus (KNN) R4 Komponenten eines Künstlich Neuronalen Netzes (Lernregel) Lernregel: Die Lernregel ist ein Algorithmus, gemäß dem das KNN lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe o j zu produzieren. p TrainingsmusternLernen erfolgt meist durch Modifikation der Gewicht w ij der Verbindungen als Ergebnis der wiederholten Präsentation von p Trainingsmustern (Trainingsdaten). Es werden dazu Inputdaten inp und dazugehörige Targets (Outputdaten) tp angelegt. Eptp j Trainingsmusterdabei wird versucht, den Fehler Ep = ½ j (tp j – o j ) 2 zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle Trainingsmuster zu minimieren. in1 t1 in2 t2 in3 t3 inp tp w ij Eptp j Ep = ½ j (tp j – o j ) 2

9 SS Konzepte des Konnektionismus (KNN) R4 Zelltypen an verschiedenen Positionen im Neuronalen Netz Viele Netze in der Praxis haben Verbindungen nur in eine Richtung (die Abb. zeigt einen häufig verwendeteten Spezialfall: Feedforward-Netzwerk mit 3 Verbindungsschichten) Signale fließen in Pfeilrichtung von den Eingabeneuronen (input units) in Richtung der Ausgabeneuronen die Zellen werden nach ihrer Position im Netz, ihrem Layer (Ausgangsneuron,...) benannt es handelt sich um ein dreistufiges Netz mit 4 Zellschichten, 3 Verbindungsschichten sind trainierbar (in der Regel die Eingabeschicht nicht) die Eingabeneuronen haben meistens die Identität als Aktivierungs- und Ausgangsfunktion. Sie leiten die Eingabesignale einfach nur an die Neuronen im Hidden Layer weiter.

10 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: NN in Produktionsphase für XOR-Netzwerk mit zwei Eingängen, Aufbau Gewichte: w 13 = 1, w 14 = 1, w 23 = 1, w 24 = 1, w 34 = -2 3 Layer: Input layer [1,2], Hidden layer [3], Output layer [4] Aktivierungsfunktion: binäre Schwellenwertfunktion

11 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: NN für XOR-Netzwerk mit zwei Eingängen, Netzeingaben

12 SS Konzepte des Konnektionismus (KNN) R4 Ausgabe- und Aktivierungsfunktionen a

13 SS Konzepte des Konnektionismus (KNN) R4 Ausgabe- und Aktivierungsfunktionen a,b

14 SS Konzepte des Konnektionismus (KNN) R4 Ausgabe- und Aktivierungsfunktionen a-c

15 SS Konzepte des Konnektionismus (KNN) R4 Ausgabe- und Aktivierungsfunktionen a-d

16 SS Konzepte des Konnektionismus (KNN) R4 Ausgabe- und Aktivierungsfunktionen alle

17 SS Konzepte des Konnektionismus (KNN) R4 Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Simple neuron and transfer functions exe, select F:, move w

18 SS Konzepte des Konnektionismus (KNN) R4 Topologie Künstlich Neuronaler Netze a w23w23 w13w13 Verbindungsmatrix nach Neuron von Neuron

19 SS Konzepte des Konnektionismus (KNN) R4 Topologie Künstlich Neuronaler Netze a, b

20 SS Konzepte des Konnektionismus (KNN) R4 Topologie Künstlich Neuronaler Netze a-d

21 SS Konzepte des Konnektionismus (KNN) R4 Topologie Künstlich Neuronaler Netze a-f

22 SS Konzepte des Konnektionismus (KNN) R4 Schwellwert entspricht einem on-Neuron

23 SS Konzepte des Konnektionismus (KNN) R4 Schwellwert bewirkt eine Linearverschiebung der Aktivierungsfunktion net j (t) = ( i o i (t) w ij ) - j a j (t) = f act (net j (t)) j1 j2

24 SS Konzepte des Konnektionismus (KNN) R4 Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Simple neuron and transfer functions exe, change b for different F:

25 SS Konzepte des Konnektionismus (KNN) R4 Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Neuron with vector input exe

26 SS Konzepte des Konnektionismus (KNN) R4 Lernstrategie in NN 1.Überwachtes Lernen (supervised learning) 2.Bestärkendes Lernen (reinforcement learning) 3.Unüberwachtes Lernen (unsupervised learning)

27 SS Konzepte des Konnektionismus (KNN) R4 Lernstrategien für unterschiedliche Netze

28 SS Konzepte des Konnektionismus (KNN) R4 Lernregel für KNN Theoretisch mögliche Arten des Lernens 1.Entwicklung neuer Verbindungen 2.Löschen existierender Verbindungen 3.Modifikation der Gewichte w ij von Verbindungen 4.Modifikation des Schwellwertes von Neuronen 5.Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion 6.Entwicklung neuer Zellen 7.Löschen von Zellen

29 SS Konzepte des Konnektionismus (KNN) R4 Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Einfluss auf die Übertragungsfunktion durch die Veränderung der Gewichte und Bias exe Contens Kapitel 11 Network Function

30 SS Konzepte des Konnektionismus (KNN) R4 Hebbsche Lernregel 1949 von Donald O. Hebb formuliert: Wenn eine Zelle j eine Eingabe von einer Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht w ij (die Stärke der Verbindung von i nach j) mathematisch: w ij = o i a j –mit w ij als Änderung des Gewichtes w ij – eine Konstante, auch Lernrate genannt –o i die Ausgabe der Vorgängerzelle i –a j die Aktivierung der nachfolgenden Zelle j

31 SS Konzepte des Konnektionismus (KNN) R4 Delta-Lernregel Bei der Delta-Regel, auch Widrow-Hoff-Regel gennant: ist die Gewichtsänderung w ij proportional zur Differenz j der aktuellen Aktivierung a j und der erwarteten Aktivierung t j (teaching input) mathematisch: w ij = o i (t j – a j ) = o i j häufig auch: w ij = o i (t j – o j ) = o i j wobei jetzt als teaching input t j die erwartete Ausgabe statt der erwarteten Aktivierung angelegt wird –mit w ij als Änderung des Gewichtes w ij – eine Konstante, auch Lernrate genannt –o i die Ausgabe der Vorgängerzelle i –a j die Aktivierung der nachfolgenden Zelle j

32 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 1. Präsentation des Eingabemusters

33 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 2. Vorwärtspropagierung der angelegten Eingabe

34 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 3. Vergleich der berechneten Ausgabe mit der erwünschten

35 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 4. Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabeschicht

36 SS Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 5. Änderung der Gewichte aller Neuronen des Netzes um die vorher berechnenten Werte

37 SS Konzepte des Konnektionismus (KNN) R4 Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Überwachtes Lernen nach Hebbscher Regel exe Contens Kapitel 7 Supervised Hebb

38 SS Konzepte des Konnektionismus (KNN) R4 Überwachung der Lernkurve 1.Abbruch, wenn der Fehler E eine vorgegebene Grenze unterschreitet 2.Für gute Generalisierungsleistung des KNN sollte ein Abbruch erfolgen, bevor der Validierungsfehler (rot) wieder ansteigt E = f (Epochen) für 225 Epochen E Epochen

39 SS Konzepte des Konnektionismus (KNN) R4 Zusammenfassung: Überwachtes Lernen Ein typisches überwachtes Lernverfahren, wie Backpropagation, führt für alle Paare von Eingabemustern und erwünschter Ausgabe (Trainingsdaten) folgende Schritte durch: Präsentation des Eingabemusters an den Eingabeneuronen Vorwärtspropagierung der angelegten Eingabe durch das Netz bis Ausgabe Vergleich der Ausgabe mit der erwünschten Ausgabe (teaching input) -> Differenzvektor Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabe berechnet Änderungen der Gewichte zur Verringerung des Differenzvektors Änderung der GewichteÄnderung der Gewichte aller Neuronen des Netzes mit den berechneten Änderungen

40 SS Konzepte des Konnektionismus (KNN) R4 Fragen Sie bitte !

41 SS Konzepte des Konnektionismus (KNN) R4 Danke Vielen Dank für Ihr Interesse!


Herunterladen ppt "SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze Jörg Krone, Ulrich Lehmann,"

Ähnliche Präsentationen


Google-Anzeigen