Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Projektgruppe KIMAS NN in MAS 10.09.2003 Thomas Heinen.

Ähnliche Präsentationen


Präsentation zum Thema: "1/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Projektgruppe KIMAS NN in MAS 10.09.2003 Thomas Heinen."—  Präsentation transkript:

1 1/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Projektgruppe KIMAS NN in MAS Thomas Heinen

2 2/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation + Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

3 3/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Motivation Was ist das Besondere an künstlichen neuronalen Netzen ?  Natürliches Lernprinzip  anpassungsfähig Was für Anwendungen ?  Mustererkennung  Regelung  Einordnung von Text, Bildern, … (sogenanntes Clustering)  usw.

4 4/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Definitionsversuche DARPA, 1988: “A neural network is a system composed of many simple processing elements operating in parallel whose function is determined by network structure, connection strengths, and the processing performed at computing elements or nodes” FAQ der comp.ai.neural-nets: “An ANN is a network of many very simple processors, each possibly having a local memory. The units are connected by unidirectional communication channels, which carry numeric data. The units operate only on their local data and on the inputs they receive via the connection”

5 5/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Randbedingungen  Viele Trainingsdaten  Gegebenenfalls jemanden, der das Lernen überwacht  Genug Zeit zum Lernen  Gut ausbalancierte Trainingsdaten Neuronale Netze sind bei gewissen Randbedingungen am leistungsfähigsten:

6 6/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Das Panzer-Problem „Panzer gefunden“ ?„kein Panzer“ !? Keine Erfolgsstory: Projekt zur Panzererkennung der DARPA (80er Jahre) Die volle Story unter

7 7/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation + Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

8 8/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Geschichte: Erste Betrachtungen 1942 von McCulloch/Pitts:  Untersuchung der Fähigkeiten von NN  Beweis, daß NN jede arithmetische/logische Funktion lösen Donald Hebb beschreibt eine universelle Lernregel 1949  Noch immer Basis vieler moderner Ansätze Weitere psychologische und neuropsychologische Arbeiten

9 9/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Geschichte: Das „Perzeptron“ als einfache Architektur eines NN wird entwickelt. Erster echter Neurocomputer 1957 (Mark I Perceptron)  Gewichte mit 512 motorbetriebenen Potentiomentern  Erkennung einfacher Ziffern mit 20*20 Sensoren Erste Neurocomputing-Firma „Memistor Corporation“ Glaube, universelle Lernprinzipien entdeckt zu haben  Fehleinschätzung und erstes Motivationstief

10 10/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Geschichte: Minsky/Papert untersuchen das „Perzeptron“ 1969 theoretisch  Schock: Nicht alle Probleme lösbar („XOR-Problem“)  Warum? Erläutere ich im 5. Abschnitt des Vortrags …  Diese Erkenntnis lässt es fast 15 Jahre still werden um die NN Weitergehende theoretische Forschung  Backpropagation Lernregel  Stereosehen mit Neuronalen Netzen  Hopfield-Netze, Neocognitron, ART und viele andere

11 11/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Geschichte: Schwierige Optimierungsaufgaben als praxistaugliche Beispiele  Traveling Salesman Problem durch Hopfield Backpropagation wird verbessert (ab 1986)  Höheres Lerntempo durch ausgefeilte Optimierungen Viele Anwendungen werden erschlossen:  NN lernen das Vorlesen von Text  Neurocomputer von Siemens  Robotikanwendungen

12 12/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation + Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

13 13/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Das Original Neuronen im Gehirn:  Abertausendfach verbunden: – Eingangssignale – Ausgangssignale  Geschätzte 110 Milliarden Neuronen  Elektrische Signalisierung  Umfangreiche chemische Einflüsse: Neurotransmitter (Serotonin, Taurin, …) Neuropeptide (Endorphine, …)

14 14/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Die Fälschung Neuronen im Computer:  Geringere Ein- und Ausgangszahlen: 10 – 100 Eingangssignale noch weniger Ausgangssignale  100 – Neuronen insgesamt  Signalisierung durch Numerische Werte  Chemie meist nicht berücksichtigt Aufteilung:  Eingabeschicht  Verdeckte Schichten  Ausgabeschicht

15 15/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation  Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

16 16/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Komponenten: Neuronen  Begriff für eine „Recheneinheit“ in einem Neuronalen Netz  Nur „lokale Sicht“ auf Vorgänger im Netz und sich selbst  Bekommt mehrere Eingaben, berechnet einen Ausgabewert  Berechnung erfolgt durch verschiedenen Funktionen

17 17/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Komponenten: Funktionen  Aggregationsfunktion Fassen Eingangssignale zusammen zu einem Wert (z.B. Summe). Gegebenenfalls wird das Ergebnis noch skaliert  Aktivierungsfunktion Berechnet den Ausgabewert. Verschiedene Funktionen: binär, linear, sigmoid („s-förmig“)

18 18/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Komponenten: Topologie Art des Verbindungsschemas bestimmt Funktion des Netzes Verschiedenste Arten von Topologien:  Vollständig verbundene Netze Jedes Neuron einer Schicht hat Verbindungen zu allen der vorherigen.  Vorwärtsgerichtete Netze Es gibt immer nur Verbindungen Richtung Ausgabeschicht  Rekurrente Netze Ausgaben werden auch an Vorgängerzellen zurückgegeben

19 19/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Komponenten: Gewichte Eingaben haben eine Priorität, ein sogenanntes „Gewicht“ Jeder Eingabewert wird mit seinem Gewicht multipliziert Diese Werte faßt die Aggregationsfunktion zusammen. Vorgänger können auch ignoriert werden (Nullgewicht)  Selber Effekt wie eine fehlende Verbindung zum Vorgänger Meist werden die Gewichte als Adjazenzmatrix gespeichert.  Berechnungsvorgang dann durch Matrizenmultiplikation

20 20/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Komponenten: Lernregel Bisherige verändert sich nichts beim NN. Woher kommt das „Lernen ?“  Fehler bei der Erkennung werden durch das Netz zurückgeleitet. Dabei werden die bestehenden Gewichte der Verbindungen geändert. Fehler werden von außen durch Trainer signalisiert:  Richtig / Falsch  Prozentualer Wert der Richtigkeit  Komplexere Beschreibungen der Abweichung („Fehlervektor“) „Lernregeln“ berechnen die Gewichtsänderung abhängig vom signalisierten Fehler.

21 21/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation  Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

22 22/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Hebbsche Lernregel  Entwickelt schon 1949 von Donald Hebb  Urvater der meisten moderneren Lernverfahren Parameter: w ij Gewichtsänderung der Verbindung von Neuron i zu Neuron j o i Ausgabe der Vorgängerzelle i a j Aktivierung der Nachfolgezelle j n Lerngeschwindigkeit (Konstanter Wert)

23 23/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Perzeptron: Einstufig  Eine der ersten Strukturen in der Forschung zu Neuronalen Netzen  Eingabe ist mit Sensormatrix verbunden  Einsatz einer binären Aktivierung (Ausgabe „ja“ und „nein“) Mathematisch formuliert: Durch den Raum der Eingaben wird eine Ebene gelegt, die die „falschen“ von den „richtigen“ Aussagen trennt

24 24/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Perzeptron: Das XOR-Problem Untersuchung des Perzeptrons war der Stolperstein der NN 1969: Erkenntnis, daß nicht alle Probleme „linear separierbar“ sind Die XOR-Funktion wird dann wahr, wenn die Eingaben gleich sind Nicht durch eine Linie aufzuteilen  Die Funktion ist nicht abzubilden. Folgerung von Minsky `69: Perzeptrons können nur linear separierbare Probleme lösen

25 25/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Perzeptron: zweistufig Neuron Nr.6 bekommt die Funktion eines AND:  Gewichte zum Neuron 6 sind jeweils fest auf 0.3  Das sechste Neuron wird erst bei 0.3 * 3 = 0.9 wahr

26 26/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Perzeptron: Akzeptanzbereiche Einfaches Perzeptron: Akzeptanz durch lineare Separierung Zweistufiges Perzeptron: Komplexere Akzeptanz durch logische Verknüpfungen  Damit ist klar, daß die Folgerung von Minsky und Papert falsch war.

27 27/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Inhalt  Motivation  Definition  Geschichte  Original und „Fälschung“  Komponenten  Bekannte Verfahren  Fazit

28 28/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Pro Biologisch motiviert Intelligenz durch Imitation der Natur, wenngleich in abgespeckter Form (Vernachlässigung der Chemie, kleinere Dimensionen) Sehr anpassungsfähig Neuronale Netze können als sogenanntes online-Lernverfahren auch nach dem Training noch lernen. Viele andre Lernverfahren sind dagegen „offline“ (zum Beispiel Genetische Algorithmen)

29 29/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Contra Relativ hoher Trainingsaufwand In unserem Fall müßte man im Training vermutlich hunderte Spiele durchlaufen lassen. Probleme der Flexibilität Bei einer Strategieänderung des „Gegners“ wäre eine neue Trainingsphase das beste => wieder hunderte Spiele.

30 30/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Das Fazit vom Fazit Neuronale Netze sind keine generelle Lösung  Wir sollten eine Kombination von Lernverfahren nutzen Beispielsweise  schnelle offline-Lernverfahren für generelle Strategien  Neuronale Netze für schnelle Anpassungen

31 31/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Werbung :) In der Ausarbeitung wesentlich mehr Stoff:  Details zu natürlichen NN  Kategorisierung von Neuronalen Netzen  Zwei weitere, modernere Lernregeln  Neuronale Netze und Genetische Algorithmen im Zusammenspiel


Herunterladen ppt "1/31 UNIVERSITY OF PADERBORN Projektgruppe KIMAS – Neuronale Netze in MAS Projektgruppe KIMAS NN in MAS 10.09.2003 Thomas Heinen."

Ähnliche Präsentationen


Google-Anzeigen