Univ.-Prof. Dr.-Ing. H. Nacken Vorlesung Wasserwirtschaftliche Modellierung Themen: Vorlesung 8 Neuronale Netze (ANN) Trainingsformen von Neuronalen Netzen Anwendungsbeispiele Vor- und Nachteile: Fuzzy Logik versus Neuronale Netze

Univ.-Prof. Dr.-Ing. H. Nacken analysieren anwenden verstehen erinnern Lehrziele der Veranstaltung erschaffen bewerten Sie wissen wann Neuronale Netze bei wasserwirtschaftlichen Aufgaben angewendet werden können und beschreiben diese allgemeinverständlich. Sie kennen die Grundprinzipien und Voraussetzungen zur Anwendung von Neuronalen Netze. Sie grenzen die Vor- und Nachteile von Fuzzy Logic und Neuronalen Netzen fachlich exakt ab. Sie treffen in Abhängigkeit der jeweiligen Aufgabenstellung eine fachlich fundierte Auswahl eines Modellierungskonzeptes (Fuzyy oder Neuronale Netze).

Univ.-Prof. Dr.-Ing. H. Nacken Neuronale Verschaltung

Univ.-Prof. Dr.-Ing. H. Nacken Neutrotransmitter

Univ.-Prof. Dr.-Ing. H. Nacken Modell eines Neurons Ein biologisches Neuron und ein künstliches Neuron

Univ.-Prof. Dr.-Ing. H. Nacken Propagation Function Activaton Function Act Int Propagation-Funktion: Im ersten Schritt kombiniert die Propagation-Funktion alle von sendenden Neuronen kommenden Eingangswerte I x. Kombination bedeutet hier, dass eine gewichtete Summe gebildet wird. Aktivierungsfunktion: Das Ergebnis der Propagation- Funktion wird verwendet um die Aktivierung des Neurons mit der Aktivierungsfunktion zu berechnen. Zu diesem Zweck können verschiedene Funktionstypen verwendet werden. mathematisches Modell eines Neurons

Univ.-Prof. Dr.-Ing. H. Nacken Ausgangsschicht Neuron verborgene Schicht Verknüpfung Eingangsschicht verborgene Schicht künstliche Neuronale Netze

Univ.-Prof. Dr.-Ing. H. Nacken 1943 Warren McCulloch und Walter Pitt beschrieben in ihrem Aufsatz „A logical calculus of the ideas immanent in nervous activity“ neurologische Netzwerke, die auf dem McCulloch-Pitt-Neuron basieren. Sie zeigten, dass auch einfache Klassen neuronaler Netze prinzipiell jede arithmetische oder logische Funktion berechnen können Donald O. Hebb beschrieb in seinem Buch „The Organization of Behaviour“ die mittlerweile klassische Hebb‘sche Lernregel als einfaches universelles Lern- konzept individueller Neuronen Paul Werbos entwickelte in seiner Dissertation an der Harvard-Universität bereits das Backpropagationverfahren Geschichte der Künstlichen Neuronalen Netze 1

Univ.-Prof. Dr.-Ing. H. Nacken ArbeitsphaseTrainingsphase Grundlegende Prinzipien von ANNs

Univ.-Prof. Dr.-Ing. H. Nacken Die Entwicklung eines Neuronalen Netzes erfordert, dass dem Netz das gewünschte Verhalten beigebracht wird. Dieses wird als Trainingsphase bezeichnet. Dazu werden Beispieldatensätze mit bekannten Input- und Output-Konstellationen verwendet. Trainingsphase

Univ.-Prof. Dr.-Ing. H. Nacken Nachdem das Lernen abgeschlossen ist, kann das Neuronale Netz in die Arbeitsphase eintreten. Als Ergebnis des Trainings wird das Neuronale Netz bei Eingangswerten, die den Trainingssätze entsprechen, ähnliche Ergebnisse produzieren. Arbeitsphase

Univ.-Prof. Dr.-Ing. H. Nacken Black Box Es ist nicht möglich Wissen aus den Neuronalen Netzen zu extrahieren. Neuronale Netze zeigen nach außen ein typisches „Black-Box“ Verhalten. Eine Erklärungs- komponente, die dem Menschen hilft, den Verarbeitungsweg nachzuvollziehen, gibt es nicht. Black Box Eigenschaften

Univ.-Prof. Dr.-Ing. H. Nacken Überwachtes Lernen: „supervised Learning“ Wenn ein gegebenes Eingangsmuster ein spezielles Ausgangsmuster hervorrufen muss, kann jeder Trainingsschritt in der Form überwacht werden Unüberwachtes Lernen: „unsupervised Learning“ Wenn die Aufgabe des Trainingsprozesses darin besteht regelbehaftete Zusammenhänge innerhalb der Umgebung zu erkennen (wie z.B. die Bestimmung der Attribute eines gegebenen Eingangsmusters), so sind gewöhnlich keine speziellen Ausgangsmuster verhanden, mit denen der Trainingsprozess überwacht werden kann. Typen von Lernregeln

Univ.-Prof. Dr.-Ing. H. Nacken Anhand eines bekannten Niederschlag-Abfluss-Verhaltens (gemessene Werte/Trainingsansätze) sollte durch Variation der einzelnen Netzparameter ein neuronales Netz entwickelt werden, das die gegebenen Verhältnisse im Einzugsgebiet möglichst genau abbilden kann. Abflussmodellierung mit Hilfe von ANN (Training1)

Univ.-Prof. Dr.-Ing. H. Nacken Abflussmodellierung mit Hilfe von ANN (Training2)

Univ.-Prof. Dr.-Ing. H. Nacken Niederschlag [mm / h] 1 mm Unit Hydrograph [m³/ s. mm] Abflussmodellierung mit Hilfe von ANN (Prozess)

Univ.-Prof. Dr.-Ing. H. Nacken Abflussmodellierung mit Hilfe von ANN (Kontrolle)

Univ.-Prof. Dr.-Ing. H. Nacken rainfall evaporation soil moisture runoff Trainingsdatensätze w feed back weight runoff Testdatensätze input layerhidden layeroutput layer Lokales ModellTOPLATS Anwendungsbeispiel für ein Neuronales Netz

Univ.-Prof. Dr.-Ing. H. Nacken es liegt ein hoch- dimensionaler Eingaberaum vor die Anzahl der Einfluss- größen ist klein ( ≤5 ) die Zusammenhänge ändern sich während der Betriebs- phase die Zusammenhänge zwischen den Einflussgrößen sind bekannt und fest die Einflussgrößen sind bekannt und enthalten die relevante Information die Einflussgrößen sind nicht genau bekannt, aber es liegen Beispieldaten vor Neuronales NetzwerkFuzzy Logic Neuro oder Fuzzy: Kriterien zur Methodenwahl

Univ.-Prof. Dr.-Ing. H. Nacken Heuristische Optimierung keine Lernfähigkeit Regelwissen notwendig VorteilNachteil Einfaches Modelldesign Einbringen von “Know-how” Verarbeitung unscharfer Daten Transparentes Verhalten Modifizierbarkeit Vor- und Nachteil von Fuzzy Logic

Univ.-Prof. Dr.-Ing. H. Nacken schnelle Optimierung Lernfähigkeit Kein Regelwissen notwendig Verarbeitung nur von scharfen Daten Schwieriges Netzdesign “Black Box” Verhalten Modifizierung nicht möglich Kein Einbringen von “Know-how” VorteilNachteil Vor- und Nachteil von Neuronalen Netzen

Univ.-Prof. Dr.-Ing. H. Nacken Fuzzy +Neuro Heuristische Optimierung Regelwissen notwendig keine Lernfähigkeit Verarbeitung nur von scharfen Daten Schwieriges Netzdesign “Black Box” Verhalten Modifizierung nicht Möglich Schwieriges Einbringen von “Know-how” Lernfähigkeit Kein Regelwissen notwendig schnelle Optimierung Einfaches Modelldesign Einbringen von “Know-how” Verarbeitung Unscharfer Daten Transparentes Verhalten Modifizierbarkeit Vorteile von Neuro + Fuzzy

Univ.-Prof. Dr.-Ing. H. Nacken Fuzzy Logic Systeme können für die Wissensrepräsentation in Neuronalen Netzen verwendet werden Die Fuzzifizierung, die für unabhängige Eingangsvariablen berechnet wird, kann durch die Eingangsschicht modelliert werden Die Fuzzy-Regeln, die die Schlussfolgerung unabhängig voneinander berechnen, können durch die verdeckten Schichten repräsentiert werden. Dabei können die Regeln auch durch Mehrfachschichten beschrieben werden Die Defuzzifizierung der Variablen wird ebenfalls unabhängig in der Ausgangsschicht durchgeführt Verbund von Neuro und Fuzzy

Univ.-Prof. Dr.-Ing. H. Nacken Ausgangsschicht verborgene Schicht verborgene Schicht Eingangsschicht Fuzzifizierung Fuzzy-InferenzDefuzzifizierung WENN DANN Hybride NeuroFuzzy Systeme 1

Univ.-Prof. Dr.-Ing. H. Nacken Ausgangsschicht verborgene Schicht verborgene Schicht Eingangsschicht Fuzzifizierung Defuzzifizierung R R R R R R R R Fuzzy-Inferenz Hybride NeuroFuzzy Systeme 2

Univ.-Prof. Dr.-Ing. H. Nacken Ausgangsschicht verborgene Schicht Eingangsschicht Fuzzifizierung Defuzzifizierung R R R R Fuzzy-Inferenz NeuroFuzzy Modelle als DSS (input)

Univ.-Prof. Dr.-Ing. H. Nacken Solution produced by a NeuroFuzzy hybrid system Solution produced by a human expert NeuroFuzzy Modelle als DSS (output)