Neuronale Netze Inhalt des Vortrags: Aufbau und Funktionsweise des menschlichen Gehirns Aufbau eines neuronalen Netzwerks Trainieren von neuronalen Netzen Eigenschaften von Neuronalen Netzen Anwendungsgebiete

Aufbau des menschlichen Gehirns Zwischenhirn steuert Hormonsystem, Ver-bindung zum vegetativen Nervensystem, kontrolliert pH, Temperatur, Blutdruck, biol. Uhr Mittelhirn enthält ver-schiedene Bereiche, u.a. Augenbewegung Nachhirn kontrolliert grundlegende Funktionen, z.B. Blutzirkulation, Herzschlag, Atmung Großhirn übernimmt alle höheren Denkfunktionen Kleinhirn hält Gleichgewicht aufrecht und koordiniert Muskelbewegungen

Aufbau von Neuronen Gehirn besteht aus ca.100 Milliarden Neuronen Dendriten nehmen elektrische Impulse auf Zellkörper verarbeitet ankommende Impulse Nervenfaser (Axon) leitet gefeuerten Impuls weiter Synapsen sind die Endknöpfchen des Axons, übertragen Impulse an nächste Zelle

Arbeitsweise von Neuronen +20 -70 t U [mV] Ruhepotential Aktionspotential 3 ms Refraktärphase Während Ruhephase im Zellinneren Ruhepotential bei ca. -70 mV elektr. Feld des ankommenden Impulses öffnet Natriumkanäle → Na+-Ionen strömen ins Zellinnere → Aktionspotential baut sich auf Während der Refraktärphase Zelle kaum reizbar Aktionspotential besitzt in allen Nervenzellen gleiche Form und Amplitude → Information nur durch zeitliche Impulsdichte bzw. Frequenz kodiert

Elemente eines neuronalen Netzes neti ai wij aj oi netj wkj wlj Aktivierungsfunktion: ai(t+1) = fact(ai(t),neti(t),q) mit Schwellwert q Ausgabefunktion: oi = fout(ai) Propagierungsfunktion: netj(t) = Soiwij

Topologie von NN Ausgabeschicht Verarbeitungsschicht Eingabeschicht Feed forward - Netz

Topologie von NN weitere Typen Feed forward - Netz mit short cuts direkte Rückkopplung indirekte Rückkopplung mit short cuts laterale Rückkopplung vollständig verbunden

Beispiel eines neuronalen Netzes: XOR-Gate 1 2 4 q=0.5 W14 = 1 W24 = 1 W34 = -2 3 q=1.5

Trainieren von neuronalen Netzen Entwicklung neuer Zellen oder Verbindungen Löschen von Zellen oder Verbindungen Modifikation der Verbindungsstärke (häufigstes Verfahren) Modifikation der Schwellwerte der Neuronen Modifikation der Aktivierungs-, Propagierungs oder Ausgabefunktionen

Arten des Lernens Überwachtes Lernen: optimale Gewichte werden gesucht bei gleichzeitiger Präsentation von Eingabe und erwarteter Ausgabe (Vorteil: lernt schnell, Nachteil: nicht biologisch motiviert) Bestärkendes Lernen: es wird nur angegeben ob die Ausgabe richtig oder falsch ist (Vorteil: biologisch besser motiviert, Nachteil: langsamer) Unüberwachtes Lernen: das Netzwerk findet selbständig die optimale Gewichtung der Verbindungen, durch Einteilung von ähnlichen Eingaben in gleiche Klassen (Vorteil: biologisch am plausibelsten, wurde auch im Gehirn beobachtet, Nachteil: sehr langsam)

Lernregeln (eine kleine Auswahl) Hebbsche Lernregel (allgemeinste Form): mit der Lernrate η, der erwarteten Aktivierung (teaching input) tj und zwei Funktionen h(.,.) und g(.,.) Delta Lernregel: Die Änderung der Gewichte ist proportional zur Differenz zwischen erwarteter Ausgabe und tatsächlicher Ausgabe

Einige Eigenschaften von NN Lernfähigkeit Parallelität Verteilte Wissensrepräsenta-tion → höhere Fehlertoleranz gegenüber Ausfall von Neuronen Assosiative Speicherung von Information Robustheit gegenüber Rauschen/Störungen Fähigkeit zur Verallgemeinerung Wissenserwerb nur durch Lernen möglich Analyse des eigenen Wissens nicht möglich (keine Introspektion) Analyse des Wissens von außen schwer möglich Logisches Schließen schwer realisierbar Lernen ist relativ langsam

Anwendungen und Ausblicke Approximation von Funktionen und Wahrscheinlichkeitsverteilungen Vorhersagen von Zeitreihen (z.B. Laserdaten, Finanzdaten ) Klassifizierung/Mustererkennung (z.B. Bilderkennung, Spracherkennung,Texturanalyse...) Steuerung autonomer Fahrzeuge (z.B. selbständig fahrende Autos)