Adaptive Systeme-2 Prof. Rüdiger Brause WS 2011 Organisation Einführung in adaptive Systeme B-AS-1, M-AS-1 Vorlesung Dienstags 10-12 Uhr, SR9 Übungen.

Präsentation zum Thema: "Adaptive Systeme-2 Prof. Rüdiger Brause WS 2011 Organisation Einführung in adaptive Systeme B-AS-1, M-AS-1 Vorlesung Dienstags 10-12 Uhr, SR9 Übungen."—  Präsentation transkript:

1

2 Adaptive Systeme-2 Prof. Rüdiger Brause WS 2011

3 Organisation Einführung in adaptive Systeme B-AS-1, M-AS-1 Vorlesung Dienstags 10-12 Uhr, SR9 Übungen Donnerstags 12-13 Uhr, SR 9 Adaptive Systeme M-AS-2 Vorlesung Donnerstags 10-12 Uhr, SR9 Übungen Donnerstags 13-14 Uhr, SR 9 Gemeinsames Übungsblatt, unterteilt in 2 Teile Ausgabe: Dienstags, Abgabe: Dienstags Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 2 -

4 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 3 - Vorschau Themen 1.Einführung und Grundlagen 2.Lernen und Klassifizieren 3.Merkmale und lineare Transformationen 4.Lokale Wechselwirkungen: Konkurrentes Lernen 5.Netze mit RBF-Elementen 6.Rückgekoppelte Netze 7.Zeitdynamik und Lernen 8.Fuzzy-Systeme, Evolutionäre und genetische Algorithmen 9.Simulationstechnik

5 Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 4 -

6 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 5 - Das Vorbild: Gehirnfunktionen Lineares Modell Zell-Potential ~ Eingabe-Spikefrequenz Ausgabe-Spikefrequenz ~ Zellstrom Ausgabe-Freq. y ~ Eingabe-Freq. x Problem: Reizähnlichkeit Ähnlich zu a) ?

7 Das Vorbild: Gehirnfunktionen Kodierungsbeispiel: Neuron Nr.12, Grashüpfer Creutzig et al, J.Neurosci., 29(8), 2575-2580, 2009 Zirp-Identifikation von Männchen einer Spezies Keine Konstanz von Pausen- und Silbenlänge, Verhältnis Silben / Pausen ist entscheidend Lösung: Längere Intervalle produzieren mehr spikes, Verhältnis bleibt invariant Temperatur 2 Temperatur 1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 6 -

8 Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 7 -

9 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 8 - Modellierung formaler Neuronen x 1 x 2 x 3 w 1 w 2 w 3 y z Akti- vierung Ausgabe (Axon) Gewichte (Synapsen) Eingabe (Dendriten) x = (x 1,...,x n ) w = (w 1,...,w n ) Dendriten Axon Zell körper Synapsen y = S(z) z = = w T x squashing function radial basis function Ausgabefunktionen

10 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 9 - Modellierung eines Neurons Input-Output Formalisierung X={x}, Y = {y}, W = {w} DEF Transferfunktion F: X W Y F: X DEF Lernfunktion DEF formales Neuron

11 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 10 - Modellierung von Netzen DEF Neuronales Netz Ein neuronales Netz ist ein gerichteter Graph G := (K,E) aus einer Menge von Knoten K = {v}, den neuronalen Einheiten, und einer Menge von Kanten E KxK, den Verbindungen zwischen den Einheiten.

12 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 11 - Ausgabefunktionen Binäre Ausgabefunktionen z.B. Kodierung von qual.Merkmalen rot = 1, braun = 0 y = S B (z) := Heavyside-Funktion y = S B (z) :=

13 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 12 - Formale Neuronen Anwendung binäre Funktion: log. Gatter x1x1 x2x2 z=x 1 /2 + x 2 /2 X 1 OR x 2 00z=00 01 z=½>1/3 S B =1 1 10 1 11 z= 1>1/3 S B =1 1 w 1 = ½ w 2 = ½ w 3 = - z = w 1 x 1 +w 2 x 2 +w 3 x 3 x 1 x 2 x 3 w 1 w 2 w 3 y z Veränderung: w 3 = - - : log. Gatter = ? Schwellwertveränderung: Wechsel der Funktionalität!

14 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 13 - Ausgabefunktionen Begrenzt-lineare Ausgabefunktionen y = S L (z,s) := k=z max /2s y = S L (z,s) := k=z max /s

15 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 14 - Ausgabefunktionen Sigmoidale Ausgabefunktionen Fermi-Funktion, logistische Funktion Kosinus-Quetschfunktion S F (z) := sowie hyperb. Tangens S T (z) := 2S F (z)-1 = = tanh(kz) S C (z) := K=const

16 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 15 - Formale Neuronen Zeitmodellierung Ann.: Abfluss der Ladung aus dem Zellkörper - z/ t mit sinkender Spannung proportional geringer - z/ t ~ –z(t) oder - z/ t = –z(t) * Rechnung * tt+1 t´ Visualisierung z(t) A0A0 A

17 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 16 - DEF Schicht Schichten

18 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 17 - lineare Schicht Lineare Transformation mit NN y = = W·x Matrix-Multiplikation

19 Affine Transformationen Erweiterung des Eingaberaums (homogene Koordinaten) w 1 x 1 +w 2 x 2 + … + w n x n w 1 x 1 +w 2 x 2 + … + w n x n + w n+1 1 w T x =(w 1,…,w n ) (x 1 …,x n ) T (w 1,…,w n,w n+1 ) (x 1 …,x n,1) T =w T x (Skalierung, Rotation) (Skalierung, Rotation, Verschiebung) Verschiebung eines Vektors = Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 18 -

20 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 19 - Affine Transformation Affine Transformation mit NN W = Drehung Skalierung Shift W shift W rot W scal = 2-dimensional W shift = W rot = W scal = Affine Transformation

21 Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 20 -

22 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 21 - Klassenbildung heute Objekte werden durch Merkmale beschrieben z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett,...) quantitativ Mensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7,...) Idee = Form = Klassenprototyp Muster eines Objekts (Breite, Höhe) = x Breite c 2 Höhe c 1 Trennung von Klassen Blütensorte 1 Blütensorte 2 Klassenprototyp Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c 1,c 2. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 21 -

23 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 22 - Klassentrennung Breite x 1 c 2 Höhe x 2 c 1 Klassentrennung durch Trenngerade mit f(x 1 ) = x 2 = w 1 x 1 +w 3 z<0 z=0 bzw. z = w 1 x 1 +w 2 x 2 +w 3 x 3 = 0 z>0mit x 3 := 1 Mit z = = w T x Klassenentscheidung y = S(z) =

24 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 23 - Trennung mehrerer Klassen DEF Lineare Separierung Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2 des Musterraums = 1 2 mit 1 2 = heißen linear separierbar, falls eine Hyperebene {x*} existiert mit g(x*) = w T x* = 0, so daß für alle x 1 gilt g(x)<0 und für alle x 2 gilt g(x)>0.

25 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 24 - Klassentrennung durch formales Neuron Klassentrennung durch binäres Neuron z = = w T x Klassenentscheidung y = S B (z) = z = w T x S B (z) y = 0: Klasse 1 y = 1: Klasse 2 x1x1 x2x2 x3x3 x n-1... 1

26 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 25 - WIE erhalten wir die richtigen Gewichte, d.h. die richtige Klassifizierung ? Lernen !

27 Assoziativ- speicher

28 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 27 - Neuro-Modell des Assoziativspeichers Funktion: Jede Komp.ist lin. Summe z i = w i x Nichtlin. Ausgabe: y i = S B (z i ) = Lernen von W ?

29 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 28 - Lernen im Assoziativspeicher Speichern aller N Muster mit Hebbscher Regel Auslesen eines Musters r y = Wx r = z = r L r (x r ) T x r + assoziierte Antwort + Übersprechen von anderen Mustern Orthogonale Muster x r : Übersprechen = 0, exakte Reproduktion. Nicht-orthogonale Muster: Schwellwerte nötig zum Unterdrücken des Übersprechens.

30 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 29 - Trennung mehrerer Klassen Erinnerung: Lineare Separierung xrxr xpxp xkxk xqxq x2x2 x1x1 (1,0) (0,0) (0,1) (1,1) 1 Neuron: 1 Trennlinie (Ebene) 2 Neurone: 2 Trennlinien (Ebenen) Bereiche trennbar

31 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 30 - Trennung mehrerer Klassen Problem: Klassenentscheidung über Korrelationsgröße xpxp xqxq x2x2 x1x1 Entscheidung über x: Klasse p: xx p > xx q Klasse q: xx p < xx q Frage: x = x p : In welche Klasse? Antwort: in Klasse q ! Lösung (x-y) 2 = x 2 -2xy +y 2 ist minimal xy ist maximal genau dann, wenn Konstante Länge c = |x|=|y| (normierte Musteraktivität)

32 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 31 - Trennung mehrerer Klassen Erweiterung der Mustertupel x X = x 0, x 1, x 2,..., x n ) mit |x| = const weil x 2 0 = c 2 – | x 1, x 2,..., x n )| 2 > 0 (!) Einbettung in den Hyperraum Beispiel: 2-dim 3-dim c x x2x2 x1x1 x3x3 xrxr xkxk xqxq xpxp Entscheidung durch cos ( ) = = c –2 x T x r cos( ) monoton fallend Winkel als Distanzmaß min max Korrelation

33 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 32 - Assoziativspeicher: Speicherkapazität M Tupel (x,y) gegeben: Wie viele können zuverlässig gespeichert werden? x 1 = x 2 =...= x M : nur ein Muster speicherbar. y 1 = y 2 =...= y M : beliebig viele Muster speicherbar, da Antwort y immer richtig. Problem der Kodierung der Muster ! Sei |x| = a. Maximaler Musterabstand max d(x p,x q ) = min x p x q = 0 bei orthogonalen Mustern Reelle Komponenten: n Dimensionen n orthogonale Basisvektoren Binäre Komponenten: M max = z.B. n=100, a=10, also max M=10 Mittlere Abstand maximal z.B. n = 100 max M 2 n /n -0.5 10 29

34 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 33 - Assoziativspeicher: Binärspeicher Spärliche Kodierung Binäre Muster Speichern:w ij = V p y i p x j p = max p y i p x j p Kapazität:H B = ln 2 = 0,693 Bit pro Speicherzelle Palm 1980 vergleichbar mit CAM-Speicher Kodierung k = a x = ld m j = a y = O(log n) CAM vs. Ass.matrix Konstante Zahl von 1 durch eine Leitung pro Eingabecode