Wismar Business School

Präsentation zum Thema: "Wismar Business School"—  Präsentation transkript:

1 Wismar Business School
Wissensextraktion mittels künstlicher neuronaler Netze Vorwärts gerichtete NN Uwe Lämmel

2 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Perzeptron Backpropagation–Netz Partiell rückgekoppelte Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

3 Adaline – LTU – Perzeptron
Eine trainierbare Verbindungsschicht Adaptive linear element Linear Threshold Unit Perzeptron ...

4 Perzeption Abbildungsschicht Bild Feste Verbindungen trainierbare vollständige Verbindung Ausgabe-schicht Perzeption Wahrnehmung als erste Stufe der Erkenntnis in der Psychologie der Vorgang der (sinnl.) Wahrnehmung eines Gegenstandes ohne bewusstes Erfassen und Identifizieren des Wahrgenommenen Meyers Neues Lexikon

5 Perzeptron s.a. Minsky,Papert: Perceptrons,1969
entwickelt von Rosenblatt (um 1960) Bild: binäre Eingaben, werden weitergereicht, keine trainierbaren Verbindungen Abbildungsschicht = Eingabeschicht Propagierungsfunktion netj =  oiwij Aktivierungsfunktion Ausgabefunktion = Identität, somit: oj = aj = 1 falls netj  j , 0 sonst Lernen: Das Perzeptron kann in endlicher Zeit alles lernen, was es repräsentieren kann. (perceptron convergence theorem, F. Rosenblatt)

6 Lineare Trennbarkeit Das Neuron j soll 0 liefern, falls beide Neuronen 1und 2 gleiche Werte liefern(o1=o2), ansonsten 1: netj = o1w1j + o2w2j 0 w1j + 0w2j < j 0 w1j + 1w2j  j 1 w1j + 0w2j  j 1 w1j + 1w2j < j j 1 2 ?

7 Lineare Trennbarkeit  Gerade im 2-dim. Raum
1 (1,1) (0,0) o1 o2 o1*w1 +o2*w2=q netj = o1w1j + o2w2j  Gerade im 2-dim. Raum Gerade teilt Ebene so, dass (0,1) und (1,0) stets in unterschiedlichen Teilebenen liegen. Netz kann die geforderte Aufgabe nicht lösen:  Ein Neuronales Netz zur Realisierung der XOR-Funktion benötigt weitere, verdeckte Zellen. Ein Perzeptron kann nur sehr wenige Funktionen repräsentieren.

8 Lernverfahren Wiederhole bis gewünschtes Verhalten erreicht
while Eingabemuster do begin nächstes Eingabemuster I und berechne Ausgabemuster O for each j in AusgabeNeuronen do if ojtj then if oj=0 then {Ausgabe=0, aber 1 erwartet} for each i in EingabeNeuron do wij:=wij+oi else if oj=1 then {Ausgabe=1, aber 0 erwartet} for each i in EingabeNeuron do wij:=wij-oi ; end Wiederhole bis gewünschtes Verhalten erreicht

9 Mustererkennung Dekodierung Eingabe: Binärcode einer Ziffer
Ausgabe: Unärcode: soviel Einsen, wie Ziffer angibt : Architektur:

10 Mustererkennung - Klassifikation
Dekodierung Eingabe: Binärcode einer Ziffer Ausgabe: Zuordnung zu einer Klasse: 0~ 1.Neuron, 1~ 2. Neuron, ... 5~ 6. Neuron, ... Architektur:

11 Aufgaben Machen Sie sich mit der EXCEL-Lösung des Problems vertraut.
Implementieren Sie (in PASCAL/Java) ein 4-10-Perzeptron zum umwandeln von Binärzahlen (0..9) in eine Dezimalzahl. Implementieren Sie den Lernalgorithmus und trainieren Sie das Netz. Welche Modifizierung muss der Lernalgorithmus erfahren, damit ein Lerneffekt eintritt? Welche Ausgabe (Unäre Darstellung oder Klassifikation) lässt sich schneller lernen?

12 Aufgaben Entwickeln Sie ein Perzeptron zur Erkennung von Ziffern Eingabe-Schicht: 3x7-Eingabe-Neuronen Nutzen Sie den SNNS oder JavaNNS Wie können mehrstellige Zahlen erkannt werden? Entwickeln Sie ein Perzeptron zur Erkennung von Großbuchstaben. Eingabeschicht 5x7

13 Mehrstufiges Perzeptron
Hebt Beschränkungen des einfachen Perzeptrons auf mehrere trainierbare Schichten Zweistufige Perzeptrons können konvexe Polygone klassifizieren. Dreistufige Perzeptrons können beliebige Mengen erkennen (durch Überlagerung konvexer Polygone). Mehrstufiges Perzeptron (multi layer percetron) = vorwärts gerichtetes Netz = Backpropagation – Netz

14 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Perzeptron Backpropagation–Netz Partiell rückgekoppelte Netze Einsatz Wettbewerbslernen Zusammenfassung

15 Backpropagation – Netze

16 Vorwärts gerichtetes Netz

17 Berechnung einer Ausgabe
Ni Nj Nk netj netk Oj=actj Ok=actk Trainings-muster p Oi=pi Eingabe-Schicht verdeckte Schicht(en) Ausgabe-Schicht

18 Backpropagation – Lernverfahren
Form des überwachten Lernens Fehler des Netzes über alle Trainingsmuster in Abhängigkeit der Gewichte wi : E(W) = E(w1,w2, ... , wn) Gesucht ist minimaler Fehler minimaler Fehler = Tal der Fehlerkurve(-fläche) Backpropagation ist ein Gradientenabstiegsverfahren

19 Fehlerkurve

20 Problem Eingabe- Schicht Ausgabe Trainings-ausgabe verdeckte Schicht
Fehler in Ausgabeschicht = Differenz Ausgabe – Trainingsausgabe Fehler in verdeckter Schicht?

21 Ansatz: Gradientenabstieg
Vektor orthogonal zu einer Fläche in Richtung des stärksten Anstiegs Ableitung einer Funktion: Projektion des Gradienten auf diese Richtung möglicher Fehlerverlauf eines Gewichtes wi

22 Beispiel Newton-Verfahren
x x‘  f(x)= x²-a tan  = f‘(x) = 2x tan  = f(x) / (x-x‘)  x‘ =½(x + a/x) Näherungsrechnung zur Bestimmung der Wurzel einer Zahl f(x) = x² – 5 x = 2 x‘ = ½(x + 5/x) = 2.25 X“= ½(x‘ + 5/x‘) =

23 Die Mathematik Hier: Änderung der Gewichte um einen Bruchteil des negativen Gradienten: W = – E(W) E(W) ist dabei der Gradient  der Proportionalitätsfaktor* zum Gewichtsvektor W, der Lernfaktor -1 -0,6 -0,2 0,2 0,6 1 * Lernfaktor:  im Buch,  im JavaNNS

24 Die Mathematik Hier: Änderung der Gewichte um einen Bruchteil des negativen Gradienten: W‘ = – E(W) E(W): Gradient Proportionalitätsfaktor zum Gewichtsvektor W, : der Lernfaktor  E(Wj) = E(w1j,w2j, ..., wnj)

25 Die Fehlerfunktion Veränderung eines Gewichtes: (1)
Fehlerfunktion quadratische Abstand zwischen realer und erwarteter Ausgabe über alle Muster p: tj - Lerneingabe (teaching input) oj - tatsächliche Ausgabe hier Fehler für EIN Muster (ohne Muster-Index p): (2)

26 Backpropagation – Regel
Verallgemeinerung der Delta–Regel: mehrstufige Netze semilineare Aktivierungsfunktionen (monoton, differenzierbar, z.B. logistische Funktion) Problem: keine Trainingsvorgaben für die Ausgabe der Neuronen der inneren Schichten

27 Backpropagation–Lernregel
Ausgangspunkt: (6.1) Zusammenhang: (6.2) fout = Id 6.1 konkreter: (6.3)

28 Der 3. und 2. Faktor dritter Faktor: Abhängigkeit Netzeingabe – Verbindungsgewichte (6.4) zweite Faktor: erste Ableitung der Aktivierungsfunktion: (6.5) (6.7)

29 Der 1. Faktor erster Faktor: Abhängigkeit Fehler – Ausgabe
Fehlersignal Ausgabe-Neuron j: (6.8) (6.9) Fehlersignal inneres Neuron j: (6.10) j : Fehlersignal

30 Das Fehlersignal  j = f’act(netj)·(tj – oj)
(6.11) j = f’act(netj)·(tj – oj) Ausgabe-Neuron j: (6.12) j = f’act(netj) · kwjk inneres Neuron j:

31 Standard–Backpropagation–Regel
Für die logistische Aktivierungsfunktion gilt: f ´act(netj ) = fact(netj )(1 – fact(netj )) = oj (1 –oj) damit: somit:

32 Fehlersignal bei fact = tanh
Für die Aktivierungsfunktion tanh erhält man: f´act(netj ) = (1 – f ²act(netj )) = (1 – tanh² oj ) damit:

33 Entwicklung neuronaler Netze
Ausgabe des Netzes berechnen Vergleich mit Trainings-ausgabe Testdaten anlegen Ausgabe berechnen Netzfehler durch Vergleich mit erwarteter Ausgabe ermitteln Netzparameter ändern Gewichte anpassen Trainingsmuster anlegen Netzarchitektur aufbauen gewünschte Qualität erreicht Fehler zu hoch gewünschte Qualität erreicht

34 Entwicklung neuronaler Netze
Fehler zu hoch Fehler zu groß gewünschte Qualität erreicht Ausgabe des Netzes berechnen Vergleich mit Trainingsausgabe Test-Daten anlegen Ausgabe des Netzes berechnen Gewichte anpassen Trainingsmuster anlegen Netzparameter ändern Netzarchitektur aufbauen Vergleich mit erwarteter Ausgabe Einsatzfähiges NN gewünschte Qualität erreicht

35 Backpropagation – Probleme
A: Flaches Plateau Backpropagation stagniert auf Plateauflächen Minima wird nicht (spät) gefunden B: Oszillation in steilen Schluchten Durch Schrittweite wird stets über Minimum gesprungen C: Verlassen guter Minima Durch Schrittweite wird das Minimum übersprungen

36 Lösungsmöglichkeit – Wertebereich
Wahl des Dynamikbereiches der logistischen Aktivierungsfunktion Gewichtsänderung ist abhängig von Ausgabe; Bei oi=0 wird keine Änderung wirksam. binäre Eingabe [0..1]  häufig Null ändern in z.B. [-½ .. ½] Aktivierungsfunktion tanh wählen  Bereich [ –1..1]

37 Lösungsmöglichkeit: Manhattan – Training
Betrag des Fehlers spielt keine Rolle Nur das Vorzeichen betrachten entspricht einer Normierung der Werte:

38 Lösungsmöglichkeit: Quickprop
Annahme, dass Fehlerfunktion quadratisch ist; Sprung direkt in den Scheitelpunkt der Kurve; S: Steigung der Fehlerfunktion:

39 Resilient Propagation (RPROP)
Richtung und Betrag der Gewichtsänderung werden getrennt festgelegt: bij(t) – Betrag der Änderung  bij(t-1) + falls S(t-1)S(t) > 0 bij(t) =  bij(t-1) - falls S(t-1)S(t) <  bij(t-1) sonst +>1 : beide Anstiege gleich  „großen“ Schritt 0<-<1 : Anstiege verschieden „kleineren“ Schritt  -bij(t) falls S(t-1)>0  S(t) > 0 wij(t) =  bij(t) falls S(t-1)<0  S(t) < 0  -wij(t-1) falls S(t-1)S(t) < 0 (*)  -sgn(S(t))bij(t) sonst (*) S(t):=0 gesetzt; damit tritt im Schritt (t+1) der vierte Fall ein. +, - : Parameter der Lernfunktion

40 Grenzen des Lernverfahrens
kein Modell für das biologische Lernen: richtige Antworten im Lernprozess natürlicher neuronaler Netze nicht gegeben; es gibt keine bisher bekannten Rückkopplungen, die Fehler im Netz rückwärts leiten können; Trainingszeiten vergleichsweise sehr hoch

41 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Perzeptron Backpropagation–Netz Partiell rückgekoppelte Netze Einsatz Wettbewerbslernen Zusammenfassung

42 Aufgaben Implementieren Sie ein vorwärts gerichtetes Netz mit 2 Eingabe- und einem Ausgabe–Neuron, welches eine verdeckte Schicht aus zwei Neuronen besitzt. Trainieren Sie das Netz, so dass es die XOR–Funktion realisiert. Nutzen Sie den JavaNNS Implementieren Sie ein Netz, welches die identische Funktion realisiert. (Encoder–Decoder–Netzwerk). Probieren Sie auch andere Varianten: , 8-4-8, Welche Aussagen über das Lernverhalten lassen sich treffen?

43 Partiell rekurrente Netze – Motivation
Vorwärts gerichtete Netze: ein und dasselbe Eingabemuster  stets dieselbe Ausgabe unabhängig vom Kontext  schlecht z.B. für Prognose von Zeitreihen. Problem: Repräsentation von Zeit

44 Repräsentation von Zeit
in vorwärts gerichteten Netzen: “sliding window”: n Muster (Teilfolge) gleichzeitig als Eingabe anlegen aber: Netztopologie  feste Größe des Eingabefenster gleiche Teilfolgen produzieren dieselbe Ausgabe unabhängig vom Kontext

45 Lösung: partielle rekurrente Netze
enthalten spezielle verdeckte Zellen Kontextzellen: definierte Rückkopplung von Ausgabe- oder verdeckten Zellen in die innere Schicht

46 Jordan-Netze Ausgabezellen 1:1-Verbindungen mit Gewicht  (=1)
verdeckte Zellen Eingabezellen Kontextzellen mit direkter Rückkopplung  1:1-Verbindungen mit Gewicht  (=1)

47 Jordan–Netze Anzahl Kontextzellen = Anzahl Ausgabezellen
Kontextzellen speichern Ausgabezustand feste Verbindungen zu Kontextzellen, feste direkte Rückkopplungen Nachteilig: Anzahl Kontextzellen durch Ausgabe fixiert, keine Zustände der inneren Schicht speicherbar

48 Jordan–Netz: „Erinnerung“
S(t) - zeitabhängiger Zustandsvektor O(t) – Ausgabe mit der Vereinfachung S(0) = Nullvektor und =1 ergibt sich: 0   1 steuert Erinnerungsvermögen nahe 1: alte Zustände stärker berücksichtigt, das Netz ist träge; Kompromiss:  = 0.5

49 Elman–Netze Ausgabezellen 1:1-Verbindungen mit Gewicht 1 verdeckte
Kontextzellen Eingabezellen

50 Elman–Netze Modifikation der Jordan –Netze
Rückkopplung von verdeckter zur Kontextschicht (normalerweise) keine direkten Rückkopplungen Zustand Kontextzellen = Kopie Ausgabe verdeckter Zellen verdeckte Zellen entwickeln interne Repräsentation der Eingabemuster   Zeit codiert Vorteil gegenüber Jordan–Netze: Anzahl Kontextzellen unabhängig von Anzahl Ausgabeneuronen

51 Lernverfahren für rekurrente Netze
Backpropagation, Quickprop, ... anwendbar, da rekurrenten Verbindungen feste Gewichte besitzen : Elman/Jordan-Netze als reine feed-forward Netze betrachtet, Kontextzellen als Eingabezellen betrachten

52 Beispiel Netz soll aus vorangegangenen Punktkoordinaten die Koordinaten des nächsten Punktes ermitteln, so dass die Verbindung dieser Punkte eine liegende Acht  ergeben. Aufgabe Trainieren Sie die beiden Netze eight_jordan_untrained sowie eight_elman_untrained mit dem entsprechenden Musterfile eight_016.pat Lesen Sie die Readme-Dateien für diese Beispiele. Veranschaulichen Sie sich das Ergebnis mit dem ANALYSER-Tool. Setzen Sie dazu im Setup die Werte für axis,min,max,uni,grid auf die Werte x: (0.0, 1.0, 11, 10) sowie y: (0.0, 1.0, 12, 10)

53 SNNS: Beispiel Elman

54 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

55 Entwicklung neuronaler Netze
Ausgabe des Netzes berechnen Vergleich mit Trainings-ausgabe Testdaten anlegen Ausgabe berechnen Netzfehler durch Vergleich mit erwarteter Ausgabe ermitteln Netzparameter ändern Gewichte anpassen Trainingsmuster anlegen Netzarchitektur aufbauen gewünschte Qualität erreicht Fehler zu hoch gewünschte Qualität erreicht

56 Zeichenerkennnung Zeichenerkennung mit vorwärts gerichteten Netzen und dem Lernverfahren Backpropagation

57 SNNS: Das Beispiel „font“

58 Das Beispiel „font“ Eingabe ist ein 24x24 Pixelfeld
Zwei innere Schichten mit jeweils 4x6 Neuronen; Ausgabeschicht mit 75 Neuronen, für jedes Zeichen (Ziffern, Klein- Großbuchstaben sowie einige Sonderzeichen) jeweils ein Neuron, welches erregt ist, wenn das entsprechende Zeichen als Eingabe anliegt. Alle Neuronen einer Zeile der Eingabeschicht sind mit einem Neuron der ersten inneren Schicht verbunden. Alle Neuron einer Spalte entsprechend mit einem Neuron der zweiten inneren Schicht.

59 Aufgabe Starten Sie mit dem Netz “font_untrained”
Trainieren Sie es mit verschiedenen Lernverfahren: (Zu den Parametern siehe auch SNNS-Dokumentation) Backpropagation =2.0 Backpropagation  =0.8 mu=0.6 c=0.1 with momentum Quickprop  =0.1 mg=2.0 n=0.0001 Rprop  =0.6 Trainieren Sie das Netz mit unterschiedlichen Werten für die Lernrate, das Momentum und den Störfaktor (prozentuale Verrauschung): Lernrate Momentum Störfaktor

60 Erkennung KFZ–Kennzeichen

61 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

62 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

63 Prognose Aktienwerte (Diplomarbeit Werschmöller 2001)
Energieverbrauch (Dachs GmbH Schwerin) Tagestemperatur (Bachelor-Arbeit, Kroll 2008) WDP-Heft 2009,

64 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

65 Pre-Processing Data Types Distance, Similarity, Error
Why pre-processing? Cleaning Integration Transformation Reduction

66 Data Types Nominal: Ordinal: Metric: no ordering ordering exists
no distance measure compare function: equal Example Attributes: colour occupation marital status nationality … Ordinal: ordering exists no distance measure compare functions: equal, less example attributes: shoe size marks (grades) scales like: bad, average, good … Metric: ordering exists distance measure exists example attributes: space speed height energy …

67 Distance – Similarity distance: dist(u,v) properties: dist(x,x) = 0 q
similarity: sim(u,v) often expressed by distance: sim(u,v) = f(dist(u,v)) Distance – Similarity distance: dist(u,v) properties: dist(x,x) = 0 dist(x,y) = dist(y,x) dist(x,y) ≤ dist(x,z)+dist(z,y) q p distance function dist(u,v) = Example: Hamming = counti(ui≠vi) dist(p,q) = 2 Euclidian = i (ui²-vi ²) dist(p,q) = 5,83 Manhattan = i |ui -vi | dist(p,q) = 8 Maximum = maxi |ui -vi | dist(p,q) = 5

68 Objectives & Methods Objectives prospects of better results
adaptation to algorithms data reduction trouble shooting Methods Cleaning Integration Transformation normalization coding filter Reduction

69 Selection and Integration
unification of data (different sources) selection of attributes/features reduction omit obviously non-relevant data all values are equal key values meaning not relevant omit data for data protection reasons use a subset only (random selection) for efficiency reasons

70 Cleaning – missing value / noisy data
ignore the tuple ignore / omit attribute add values manual global constant („unknown“) average highly probable value ignore: when class attribute is missing; poor if missing values per attribute varies considerably manual: time-consuming global constant: gives „wrong“ ideas to the algorithm: unknown as an interesting concept for clustering average: of all pattern or of all patterns of the same class probable value: determined by calsssification, e.g. decision tree Noisy data check for inconsistency finding outliers

71 Transformation Normalization Coding Filter

72 Normalization of values
normalization – equally distributed in the range [0,1] e.g. for the logistic function x’ = (x – minValue) / (maxValue – minValue) in the range [-1,+1] e.g. for activation function tanh x’ = (x – minValue) / (maxValue – minValue)*2 – 1 logarithmic normalization x’= (ln(x) – ln(minValue)) / (ln(maxValue) – ln(minValue))

73 Binary Coding of nominal values I
no order relation, n-values n neurons each neuron represents one and only one value: example: red, blue, yellow, white, black 1,0,0,0,0 0,1,0,0,0 0,0,1,0, disadvantage: n neurons necessary, but only one of them is activated  lots of zeros in the input

74 Binary Coding of nominal values II
no order-relation, n values m neurons, of it k neurons switched on for one single value requirement: (m choose k)  n (m choose k): number of possibilities to choose k elements out of m. example: red, blue, yellow, white, black 1,1,0,0 1,0,1,0 1,0,0, ,1,1, ,1,0,1 4 neuron, 2 of it switched on, (4 choose 2) > 5 advantage: fewer neurons balanced ratio of 0 and 1

75 Example Credit Scoring
A1: Credit history A2: debt A3: collateral A4: income neural network architecture depends on the coding of input and output neural networks need input values {0,1}, or {–1,1}, or [–1,+1] How can we code values like good, bad, 1, 2, 3, ...?

76 To play or not to play ... Suggest a coding for the values rainy, sunny, true, 81, 90, 70, ...

77 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Mustererkennung Data Mining Prognose Datenvorverarbeitung Optimierung Wettbewerbslernen Zusammenfassung

78 Optimierung Neuronaler Netze
Ziele Gute Ergebnisse im Einsatz: Erhöhung der Generalisierungsfähigkeit (Verbesserung der Korrektheit) Schnellere Bearbeitung der Muster (Verbesserung der Effizienz) Gute Darstellung der Ergebnisse (Erhöhung der Verständlichkeit)

79 Generalisierungsfähigkeit
Fähigkeit des Netzes auch bisher unbekannte Eingaben richtig verarbeiten zu können Ziel jeder Netz-Entwicklung Netz zu groß: Alle Trainingsmuster exakt gelernt Keine Generalisierungsfähigkeit Netz zu klein: Regeln der Mustererkennung können nicht gelernt werden (Triviales Beispiel: Perzeptron und XOR)

80 Mögliche Veränderungen
Architektur NN Netzgröße Abkürzende Verbindungen Partiell vernetzte Schichten Entfernen/Hinzufügen von Verbindungen Rezeptive Felder Genetische Algorithmen Ermittlung geeigneter Parameterwerte für: Architektur Lernparameter

81 Speicherkapazität Anzahl der Muster, die ein Netz ohne zu generalisieren speichern kann Bestimmung der Speicherkapazität Ausgabe–Schicht modifizieren: Ausgabe–Schicht  Eingabe–Schicht Netz mit Zufallsmuster trainieren Fehler wird klein: Netz speichert alle Muster Fehler bleibt: Netz kann Muster nicht mehr speichern Grenzfall : Speicherkapazität

82 Ermittlung der Speicherkapazität
Ausgabe – Schicht = Kopie der Eingabe – Schicht Trainingsmenge aus n Zufallsmustern Ermittlung des Fehlers: Fehler = Netz kann mehr als n Muster speichern Fehler >> 0 Netz kann nicht n Muster speichern Speicherkapazität=n: Fehler > 0 und Fehler für n – 1 Muster ist null und Fehler für n+1 deutlich größer 0

83 Unvollständig vernetzte Schichten
neue entfernte Verbindungen: beibehaltene Prozentuale Vernetzung (z.B. 75%) Entfernen von Verbindungen, deren Gewichte im Training längere Zeit nahe 0 Bildung neuer Verbindungen (Zufall)

84 Inhalt Künstliche Neuronale Netze: Idee und Umsetzung
Vorwärts gerichtete neuronale Netze Einsatz Wettbewerbslernen Selbstorganisierende Karte (SOM) Neuronales Gas Adaptive Resonanz Theorie (ART) Zusammenfassung

85 weiter mit Wettbewerbslernen