4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle, Michael Schneider 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Inhalt Zellen des KNN als stark idealisierte Neuronen Komponenten eines KNN Zelltypen nach Position im Neuronalen Netz Beispiel: NN für XOR-Netzwerk mit zwei Eingängen Ausgabe- und Aktivierungsfunktionen Topologie Künstlich Neuronaler Netze Bedeutung des Schwellwertes Lernregel 4. Konzepte des Konnektionismus (KNN) R4

Zellen des KNN als stark idealisierte Neuronen (Text) Begriffe und Definitionen: Konnektionismus: Synonym für das Wissensgebiet der künstlich neuronalen Netze = neuronale Modelle Def. Konnektionismus: Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die anregende (positive Gewichte) oder hemmende (negative Gewichte) Signale an andere Zellen senden. neuronale Zelle = Neuron (Element, Unit) 4. Konzepte des Konnektionismus (KNN) R4

Zellen als stark idealisierte Neuronen Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die anregende (positive Gewichte) Signale oder hemmende (negative Gewichte) Signale an andere Zellen senden. 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Komponenten eines Künstlich Neuronalen Netzes (Neuron, Aktivierung, Schwellwert)  j Neuron: Aktivierungszustand (activation) a j(t) gibt den Grad der Aktivierung einer Zelle an. Aktivierungsfunktion f act: Sie gibt an, wie sich ein neuer Aktivierungszustand a j(t + 1) des Neurons j aus der alten Aktivierung a j(t) und der Netzeingabe (net input) net j(t) berechnet: a j(t + 1) = f act (a j(t), net j(t),  j) wobei  j der Schwellwert des Neurons j ist. 4. Konzepte des Konnektionismus (KNN) R4

Komponenten eines Künstlich Neuronalen Netzes (Ausgabe, Gewichte) Ausgabefunktion fout: Die Ausgabe der Zelle j wird durch eine sogenannte Ausgabefunktion aus der Aktivierung der Zelle berechnet: o j = f out (a j) meistens f out = Identität Verbindungsnetzwerk der Zellen: Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen. Das Gewicht (weight) der Verbindung von Zelle i nach j wird hier durch wij bezeichnet! 4. Konzepte des Konnektionismus (KNN) R4

Komponenten eines Künstlich Neuronalen Netzes (Propagierung) Propagierungsfunktion: gibt an, wie sich die Netzeingabe eines Neurons aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten berechnet. Die Netzeingabe von Zelle j berechnet sich: net j(t) = i oi (t)  wij aus der Summe der Ausgaben oi (t) der Vorgängerzellen multipliziert mit dem jeweiligen Gewicht wij der Verbindungen von Zelle i nach Zelle j. Die Gewichte wij können positiv (anregend) und negativ (hemmend) sein. 4. Konzepte des Konnektionismus (KNN) R4

Komponenten eines Künstlich Neuronalen Netzes (Lernregel) wij inp tp Ep = ½ j (tpj – oj)2 Lernregel: Die Lernregel ist ein Algorithmus, gemäß dem das KNN lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe oj zu produzieren. Lernen erfolgt meist durch Modifikation der Gewicht wij der Verbindungen als Ergebnis der wiederholten Präsentation von p Trainingsmustern (Trainingsdaten). Es werden dazu Inputdaten inp und dazugehörige Targets (Outputdaten) tp angelegt. dabei wird versucht, den Fehler Ep = ½ j (tpj – oj)2 zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle Trainingsmuster zu minimieren. 4. Konzepte des Konnektionismus (KNN) R4

Zelltypen an verschiedenen Positionen im Neuronalen Netz Viele Netze in der Praxis haben Verbindungen nur in eine Richtung (die Abb. zeigt einen häufig verwendeteten Spezialfall: Feedforward-Netzwerk mit 3 Verbindungsschichten) Signale fließen in Pfeilrichtung von den Eingabeneuronen (input units) in Richtung der Ausgabeneuronen die Zellen werden nach ihrer Position im Netz, ihrem Layer (Ausgangsneuron, ...) benannt es handelt sich um ein dreistufiges Netz mit 4 Zellschichten, 3 Verbindungsschichten sind trainierbar (in der Regel die Eingabeschicht nicht) die Eingabeneuronen haben meistens die Identität als Aktivierungs- und Ausgangsfunktion. Sie leiten die Eingabesignale einfach nur an die Neuronen im Hidden Layer weiter. 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Beispiel: NN in Produktionsphase für XOR-Netzwerk mit zwei Eingängen, Aufbau 3 Layer: Input layer [1,2], Hidden layer [3], Output layer [4] Gewichte: w13 = 1, w14 = 1, w23 = 1, w24 = 1, w34 = -2 Aktivierungsfunktion: binäre Schwellenwertfunktion 4. Konzepte des Konnektionismus (KNN) R4

Beispiel: NN für XOR-Netzwerk mit zwei Eingängen, Netzeingaben 4. Konzepte des Konnektionismus (KNN) R4

Ausgabe- und Aktivierungsfunktionen a 4. Konzepte des Konnektionismus (KNN) R4

Ausgabe- und Aktivierungsfunktionen a,b 4. Konzepte des Konnektionismus (KNN) R4

Ausgabe- und Aktivierungsfunktionen a-c 4. Konzepte des Konnektionismus (KNN) R4

Ausgabe- und Aktivierungsfunktionen a-d 4. Konzepte des Konnektionismus (KNN) R4

Ausgabe- und Aktivierungsfunktionen alle 4. Konzepte des Konnektionismus (KNN) R4

Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Simple neuron and transfer functions  exe, select F:, move w 4. Konzepte des Konnektionismus (KNN) R4

Topologie Künstlich Neuronaler Netze a Verbindungsmatrix nach Neuron 3 4 1 2 3 4 von Neuron w13 w23 1 2 4. Konzepte des Konnektionismus (KNN) R4

Topologie Künstlich Neuronaler Netze a, b 4. Konzepte des Konnektionismus (KNN) R4

Topologie Künstlich Neuronaler Netze a-d 4. Konzepte des Konnektionismus (KNN) R4

Topologie Künstlich Neuronaler Netze a-f 4. Konzepte des Konnektionismus (KNN) R4

Schwellwert  entspricht einem „on“-Neuron 4. Konzepte des Konnektionismus (KNN) R4

Schwellwert  bewirkt eine Linearverschiebung der Aktivierungsfunktion j1 j2 net j(t) = (i o i (t)  wij) - j a j(t) = f act (net j(t)) 4. Konzepte des Konnektionismus (KNN) R4

Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Simple neuron and transfer functions  exe, change b for different F: 4. Konzepte des Konnektionismus (KNN) R4

Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Neuron with vector input  exe 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Lernstrategie in NN Überwachtes Lernen (supervised learning) Bestärkendes Lernen (reinforcement learning) Unüberwachtes Lernen (unsupervised learning) 4. Konzepte des Konnektionismus (KNN) R4

Lernstrategien für unterschiedliche Netze 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Lernregel für KNN Theoretisch mögliche Arten des Lernens Entwicklung neuer Verbindungen Löschen existierender Verbindungen Modifikation der Gewichte wij von Verbindungen Modifikation des Schwellwertes  von Neuronen Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion Entwicklung neuer Zellen Löschen von Zellen 4. Konzepte des Konnektionismus (KNN) R4

Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Einfluss auf die Übertragungsfunktion durch die Veränderung der Gewichte und Bias  exe  Contens  Kapitel 11  Network Function 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Hebbsche Lernregel 1949 von Donald O. Hebb formuliert: Wenn eine Zelle j eine Eingabe von einer Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wij (die Stärke der Verbindung von i nach j) mathematisch: wij =   oi  aj mit wij als Änderung des Gewichtes wij  eine Konstante, auch Lernrate genannt oi die Ausgabe der Vorgängerzelle i aj die Aktivierung der nachfolgenden Zelle j 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Delta-Lernregel Bei der Delta-Regel, auch Widrow-Hoff-Regel gennant: ist die Gewichtsänderung wij proportional zur Differenz j der aktuellen Aktivierung aj und der erwarteten Aktivierung tj (teaching input) mathematisch: wij =  oi (tj – aj) =  oi j häufig auch: wij =  oi (tj – oj) =  oi j wobei jetzt als teaching input tj die erwartete Ausgabe statt der erwarteten Aktivierung angelegt wird mit wij als Änderung des Gewichtes wij  eine Konstante, auch Lernrate genannt oi die Ausgabe der Vorgängerzelle i aj die Aktivierung der nachfolgenden Zelle j 4. Konzepte des Konnektionismus (KNN) R4

Beispiel: Überwachtes Lernen 1. Präsentation des Eingabemusters 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 2. Vorwärtspropagierung der angelegten Eingabe 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 3. Vergleich der berechneten Ausgabe mit der erwünschten 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 4. Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabeschicht 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Beispiel: Überwachtes Lernen 5. Änderung der Gewichte aller Neuronen des Netzes um die vorher berechnenten Werte 4. Konzepte des Konnektionismus (KNN) R4

Beispiel Demo MATLAB 7.1 Toolboxes/Neurons/… Überwachtes Lernen nach Hebb‘scher Regel  exe  Contens  Kapitel 7  Supervised Hebb 4. Konzepte des Konnektionismus (KNN) R4

Überwachung der Lernkurve E = f (Epochen) für 225 Epochen E Epochen Abbruch, wenn der Fehler E eine vorgegebene Grenze unterschreitet Für gute Generalisierungsleistung des KNN sollte ein Abbruch erfolgen, bevor der Validierungsfehler (rot) wieder ansteigt 4. Konzepte des Konnektionismus (KNN) R4

Zusammenfassung: Überwachtes Lernen Ein typisches überwachtes Lernverfahren, wie Backpropagation, führt für alle Paare von Eingabemustern und erwünschter Ausgabe (Trainingsdaten) folgende Schritte durch: Präsentation des Eingabemusters an den Eingabeneuronen Vorwärtspropagierung der angelegten Eingabe durch das Netz bis Ausgabe Vergleich der Ausgabe mit der erwünschten Ausgabe (teaching input) -> Differenzvektor Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabe berechnet Änderungen der Gewichte zur Verringerung des Differenzvektors Änderung der Gewichte aller Neuronen des Netzes mit den berechneten Änderungen 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Fragen Fragen Sie bitte! 4. Konzepte des Konnektionismus (KNN) R4

4. Konzepte des Konnektionismus (KNN) R4 Danke Vielen Dank für Ihr Interesse! 4. Konzepte des Konnektionismus (KNN) R4