Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

SS 2006 2 30 1 1. Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann,

Ähnliche Präsentationen


Präsentation zum Thema: "SS 2006 2 30 1 1. Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann,"—  Präsentation transkript:

1 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann, Johannes Brenig, Oliver Drölle, Michael Schneider

2 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Inhalt Was sind Neuronale Netze (NN)? Beteiligte Wissensgebiete an der NN-Forschung Vergleich neuronales Modell gegen Gehirn 100 Schritt-Regel Eigenschaften Neuronaler Netze Geschichte der Entwicklung von Modellen für Neuronale Netze (KNN) seit 1942Geschichte der Entwicklung von Modellen für Neuronale Netze Geschichte der Entwicklung von KNN 1955 Geschichte der Entwicklung von KNN 1969 Geschichte der Entwicklung von KNN 1981 Geschichte der Entwicklung von KNN 1985 Geschichte der Entwicklung von KNN 1991 Geschichte der Entwicklung von KNN 1996 Anwendungen Neuronaler Netze 1997 bis 1999 CI an der FH SWF von 2000 bis heute

3 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Was sind Neuronale Netze (NN)? NN (Neuronale Netze) KNN (Künstlich Neuronale Netze) ANN (artificial neuronal networks) sind informationsverarbeitende Systeme, die aus einer großen Anzahl einfacher Einheiten (Zellen, Neuronen) bestehen, die sich Informationen in Form der Aktivierung der Zellen über gerichtete Verbindungen (connenctions, links) zusenden.

4 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Wie arbeiten Neuronale Netze (NN) und womit sind sie vergleichbar? KNN haben eine grobe Analogie zu den Gehirnen von Säugetieren: Informationsverarbeitung durch sehr viele Nervenzellen, die im Verhältnis zum Gesamtsystem sehr einfach sind und die den Grad ihrer Erregung über Nervenfasern an andere Nervenzellen weiterleiten. Hiebei handelt es sich um massiv parallele, lernfähige Systeme, die in vielen Anwendungsfeldern einsetzbar sind.

5 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Wissenschaften mit Verbindungen zum Gebiet der neuronalen Netze (NN) Computational Intelligence Fuzzy-Logik, NN, Evolutionäre Algorithmen

6 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Vergleich zwischen Gehirn und Rechner

7 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Die 100-Schritt-Regel Ein bekanntes Argument für die massive Parallelverarbeitung im menschlichen Gehirn: Sie können das Bild einer bekannten Person in ca. 0,1 s erkennen! Bei einer Schaltzeit von 1 ms für Neuronen also in max. 100 sequentiellen Zeitschritten oder 100 Ebenen von Neuronen.

8 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Eigenschaften Neuronaler Netze ++ Vorteile ++ Lernfähigkeit Parallelität verteilte Wissensrepräsentation höhere Fehlertoleranz assoziative Speicherung von Informationen Robustheit gegen Störungen spontane Generalisierung von Eingabemustern aktive Repräsentation des Wissens.

9 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Eigenschaften Neuronaler Netze -- Nachteile -- Wissenserwerb ist nur durch Lernen möglich (kein Basiswissen im NN ablegbar) NN können keine Analyse ihres eigenen Wissens oder Problemlösungsvorgangs durchführen sequentielles logisches Schließen (wie die Inferenz bei Fuzzy-Logik) ist mit NN nur sehr schwer durchführbar Lernvorgang ist relativ langsam.

10 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze 1942 Frühe Anfänge 1942 bis McCulloch und Pitts beschreiben neurologische Netzwerke basierend auf dem McCulloch-Pitts-Neuron und zeigen, das auch einfache NN prinzipiell jede arithmetische oder logische Funktion berechnen können 1949Hebb beschreibt die mittlerweile klassische Hebbsche Lernregel 1950Lashley, ein Neurologe, zeigt durch Tierversuche, dass die Information im Gehirn in einer verteilten Repräsentation gespeichert sein muss.

11 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze 1955 Erste Blütezeit 1955 bis Erster erfolgreicher Neurocomputer (Mark I Perceptron) von Rosenblatt und Wightman am MIT. Erkennung von Ziffern mit 20 x 20 Pixel Bildsensor und 512 motorgetriebenen Potentiometern (!) als Gewichte 1958 Selfridge stellt ersten Morse-Code-Übersetzer auf Basis eines Pandemonium (Neuro- Computer) vor 1959 Einfache technische Realisierung von technischen Assoziativspeichern mit der Lernmatrix von Steinbuch 1960 Entwicklung eines adaptiven Systems Adaline, das genau und schnell lernen kann von Widrow und Marcian 1963 Memistoren von Widrow. Transistor-ähnliche Elemente, mit den die einstellbaren Gewichte eines KNN (Künstlich Neuronales Netz) elektronisch realisiert werden können. Memistor Corporation, die erste Neurocomputing-Firma wird von Widrow gegründet Durch Überschätzung in den Medien Einbruch des Interesses an NN (besonders vom Departement of Defense in USA) als die Grenzen der damals verwendeten Modelle und Lernverfahren bekannt werden.

12 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze 1969 Die stillen Jahre 1969 bis Genaue mathematische Analyse des XOR-Problems und der Nichtlösbarkeit in einschichtigen KNN von Minsky und Papert. Von da an konzentrierten sich viele Forscher auf die Künstliche Intelligenz 1972 Kohonen stellte mit Correlation matrix memories ein Modell eines speziellen Assoziativspeichers mit linearen Aktivierungsfunktionen und kontinuierliche Werte für Gewichte, Aktivierungen und Ausgaben 1973Ein komplexeres, biologisch besser motiviertes nichtlineares Neuronenmodell von C. von der Malsburg, Uni Dortmund 1974Entwicklung des Backpropagation-Verfahren von Werbos, Dissertation an der Harvard-Universität 1976Sigmoide Aktivierungsfunktion für Neuronen und nichtlineare laterale Hemmungen von Grossberg; Neuronaler Algorithmus zum Stereo-Sehen (Präsentation der Bildtiefe) von Marr und Poggio

13 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze 1981 Die stillen Jahre... bis Binäre Hopfield-Netze als neuronales Äquivalent der Ising-Modelle der Physik von Hopfield 1982Selbstorganisierende Karten (Speicher) von Kohonen 1983Neocognitron: ein neuronales Modell zur positions- und skalierungsinvarianten Erkennung handgeschriebener Zeichen aus einer schichtweisen Folge einfacher und komplexer Zellen, wie sie auch im biologischen visuellen System von Katzen vorkommen; Neuronales Modell zur adaptiven Regelung für das Balancieren eines senkrechten Stabes Lösung von schwierigen Optimierungsaufgaben wie Chip-Plazierung auf der Leiterplatte, Verdrahtung der Chips, 1984Boltzmann-Maschine zur Wiedergewinnung scharfer Bilder aus unscharfen Bildern von Geman

14 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze 1985 Die Renaissance neuronaler Netze 1985 bis heute 1985Hopfield beschreibt in einem Artikel, wie KNN schwierige Optimierungsaufgaben (Traveling Salesman Problem) lösen können und kann viele Forscher von der Wichtigkeit des Forschungsgebietes NN überzeugen 1986Publikation des Lernverfahrens Backpropagation durch Rumelhart, Hinton und Williams Vorstellung von Nettalk, ein mit Backpropagation trainiertes vorwärtsgerichtetes NN, das die Aussprache geschriebener Einzelwörter aus dem Englischen selbständig lernt und dabei innerhalb von wenigen Wochen (Aufwand für das Gesamtprojekt) eine beachtliche Leistung erreicht (nahezu wie DECtalk: wissensbasierte Maschine, viele Mannjahre Entwicklungszeit) Explosionsartige Entwicklung des Fachgebietes NN seit 1986 oeigene Fachzeitschriften: Neural Networks, Neural Computation, Neurocomputing, IEEE Trans. on Neural Networks,... oGründung großer wissenschaftlicher Gesellschaften: INNS (International Neural Network Society), ENNS (European Neural Network Society), IEEE Fachgruppe über KNN, GI- Fachgruppen, VDI-GMA-Fachgruppen über NN 1990Entwicklungsumgebungen für Entwicklung, Training, Simulation und Code-Generation für KNN kommen auf den Markt 1991Analoge VLSI-Chips für NN werden von den Firmen AT&T, Bellcore, und Intel entwickelt (Abb pdf mit Nachbearbeitung)

15 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze Kohonen-Netze für Robotik-Anwendungen werden erfolgreich in der Grundlagenforschung eingesetzt von Ritter, Uni Bielefeld 1992Gute Lehrbücher über KNN kommen auf den Markt Digitale VLSI-Chips für NN werden von den Firmen Hitachi, Adaptive Solutions, Siemens, Intel, Torrent und NeuraLogix entwickelt (Abb pdf mit Nachbearbeitung) 1993Siemens entwickelt einen VLSI-Neurocomputer SYNAPSE-1 basierend auf dem selbstentwickelten VLSI-Chip MA 16 (Abb pdf mit Nachbearbeitung)

16 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Geschichte Neuronaler Netze Forschungsverbund Neuronale Fuzzy-Logik (NFL) von 6 Fachhochschulen in NRW wird unter der Leitung der FH Südwestfalen Abt. Iserlohn gegründet und vom MWF finanziert. Ziel: Anwendungsorientierte Forschung für kleine und mittlere Unternehmen (KMU) (Abb. NFL-Flyer.pdf) Gemeinsame Tagungen von großen wissenschaftlichen Gesellschaften: GI mit VDI. Die Fachgebiete Fuzzy-Logik, Evolutionäre Algorithmen und Neuronale Netze verzahnen sich stärker. Es tauchen übergeordnete Begriffe für die genannten Fachgebiete auf (L. Zadeh: Softcomputing oder vom IEEE: Computational Intelligence) Performance der PCs wird groß genug, um KNN für die Lösung von technischen Problemen zu entwickeln, zu trainieren und zu handhaben. Leistungsfähige KNN-Entwicklungsumgebungen für PC werden verfügbar.

17 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Anwendungen Neuronaler Netze 1997 bis Analyse eines Umformprozesses mit KNN und Entwurf einer prädiktiven Regelung für die Industrie an der FH SW in Iserlohn von Brenig, Hohage, Lehmann, Reitz, Wöstmann (Abb. DA-Poster.pdf) 1998Die Fachgebiete Fuzzy-Logik, Neuronale Netze und Evolutionäre Algorithmen wachsen unter der Überschrift CI (Computational Intelligence) und/oder Softcomputing stärker zusammen. Häufigkeit der Begriffe im Internet Stand 10/2003: CI: Softcomputing: Fuzzy Logic: NN: Evolutionäre Algorithmen: Evolutionary Computing: 1999Der Forschungsverbund NFL präsentiert auf der INTERKAMA in Düsseldorf vielbeachtete technische Lösungen für Neuro-Regler und Neuro-Fuzzy- Regler (Bild Interkama.jpg)

18 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 CI an der FH SWF von 2000 bis heute 2000Arbeitskreis COIN wird von 4 Fachhochschulen in NRW mit Beteiligung der FH SWF gegründet: Ziel: Entwicklung von CI-Reglern und Lösung von Automatisierungsproblemen mit CI-Systemen für die Industrie 2003Der Arbeitskreis COIN (Computational Intelligence for Industry) zeigt unter Beteiligung der FH SW Iserlohn einen CI-Regler für Belichtungs- regelungen auf der Hannover Messe Industrie Gründung des CIC.Lab an der FH Südwestfalen in Iserlohn 2004Einrichtung einer Kompetenzplattform Computer Vision based on Computational Intelligence an der FH Südwestfalen durch das Land NRW 2005Einrichtung eines Masterstudienganges CV&CI (Computer Vision and Computational Intelligence) an der FH Südwestfalen 2006Präsentation eines SPAM-Filter auf CI-Basis mit KNN und Bayes-Filter auf der CeBIT 2006 im März in Hannover

19 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Fragen ? Fragen Sie bitte !

20 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Neurocomputer Beispiel

21 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Neurocomputer von Siemens

22 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Forschungsverbund Neuronale Fuzzy-Logik

23 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 CI-Konferenz in Baden-Baden

24 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Gründung CIC.Lab

25 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Neuronale Netze für die Systemanalyse

26 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Anwendung Neuro-PID-Regler

27 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Anwendung CI-Regler

28 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 Kompetenzplattform Computer Vision based on Computational Intelligence KOPF CV&CI

29 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 In Kooperation mit: FH Gelsenkirchen FH Köln, Gummersbach FH Bochum FH Aachen FH Bielefeld Hochschule Wallis, CH Université Amiens, F Politechnico Setubal, PT Staffordshire University, GB Foshan University, VR Masterstudiengang Computer Vision and Computational Intelligence FH Köln Campus Gummersbach, Hagen Meschede, Soest

30 SS Einführung Künstlich Neuronale Netze (KNN) R1.5 SPAM-Filter auf CI-Basis auf der CeBIT 2006 in Hannover SPAM


Herunterladen ppt "SS 2006 2 30 1 1. Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann,"

Ähnliche Präsentationen


Google-Anzeigen