Adaptive Systeme Prof. Rüdiger Brause WS 2009.

Präsentation zum Thema: "Adaptive Systeme Prof. Rüdiger Brause WS 2009."—  Präsentation transkript:

1 Adaptive Systeme Prof. Rüdiger Brause WS 2009

2 Organisation „Einführung in adaptive Systeme“ B-AS-1, M-AS-1
Vorlesung Dienstags Uhr, SR9 Übungen Donnerstags Uhr, SR 9 „Adaptive Systeme“ M-AS-2 Vorlesung Donnerstags Uhr, SR9 Übungen Donnerstags Uhr, SR 9 Gemeinsames Übungsblatt, unterteilt in 2 Teile Ausgabe: Dienstags, Abgabe: Dienstags Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

3 Vorschau Themen Einführung und Grundlagen Lernen und Klassifizieren
Merkmale und lineare Transformationen Lokale Wechselwirkungen: Konkurrentes Lernen Netze mit RBF-Elementen Rückgekoppelte Netze Zeitdynamik und Lernen Fuzzy-Systeme, Evolutionäre und genetische Algorithmen Simulationstechnik Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

4 Grundlagen Modellierung Klassifizierung

5 Das Vorbild: Gehirnfunktionen
Lineares Modell Zell-Potential ~ Eingabe-Spikefrequenz Ausgabe-Spikefrequenz ~ Zellstrom  Ausgabe-Freq. y ~ Eingabe-Freq. x Problem: Reizähnlichkeit Ähnlich zu a) ? Ähnlich zu a) ? Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

6 Das Vorbild: Gehirnfunktionen
Kodierungsbeispiel: Neuron Nr.12, Grashüpfer Creutzig et al, J.Neurosci., 29(8), , 2009 Zirp-Identifikation von Männchen einer Spezies Keine Konstanz von Pausen- und Silbenlänge, Verhältnis Silben / Pausen ist entscheidend Temperatur 1 Temperatur 2 Lösung: Längere Intervalle produzieren mehr spikes, Verhältnis bleibt invariant

7 Grundlagen Modellierung Klassifizierung

8 Modellierung formaler Neuronen
Dendriten Axon Zell körper Synapsen x 1 2 3 w y z Akti-vierung Ausgabe (Axon) Gewichte (Synapsen) Eingabe (Dendriten) x = (x1, ... ,xn) w = (w1, ... ,wn) Ausgabefunktionen y = S(z) z = = wTx squashing function radial basis function So wie die Biologie die Wissenschaft vom Leben ist, so ist die Informatik die Wissenschaft von der Informationsverarbeitung. Wie wird Information im Gehirn verarbeitet? Um diese Frage zu lösen, baut man am besten selbst ein eigenes Gehirn. Die Neuroinformatik versucht mit Hilfe abstrahierter, auf wenige typische Merkmale beschränkte Neuronen “intelligente” Systeme zu konstruieren. Dabei werden vom biologischen Neuron alle Eingänge (ca Dendriten) von einem Neuronenausgang (Axon) durch nur eine Eingabe, die Stärke aller Verbindungen (Synapsen) zu einem Neuron durch ein Gewicht modelliert. <click> Formal lassen sich alle Eingabe zu einem Tupel (Vektor) zusammenfassen, ebenso wie die Gewichte. Die Aktivität ist dann die gewichtete Summe aller Eingänge. Eine nichtlineare Ausgabefunktion analog zum biologischem Vorbild verleiht dem Modell interessante Eigenschaften. So lassen sich mehrere gleichartige Neuronen zu Funktionsgruppen zusammenfassen, den Schichten. Es läßt sich zeigen, daß zwei Schichten ausreichen, um jede beliebige Funktion beliebig dicht anzunähern, also sie zu simulieren. Dies macht es möglich, durch Anpassen der Gewichte unbekannte Funktionen und Abhängigkeiten zu lernen (black box), beispielsweise die Diagnose medizinischer Daten eines Patienten oder die Vorhersage der 3D-Struktur eines Proteins aus den Gensequenzen. Das „Lernen“ wird dabei algorithmisch angegeben als Verbesserung der Gewichte (Parameter) nach der Eingabe von Beispielen. Die mathematische Beschreibung des Lernens ist so eng mit der mathematischen Approximationstheorie verbunden. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

9 Modellierung eines Neurons
Input-Output Formalisierung X={x}, Y = {y}, W = {w} DEF Transferfunktion F: X  W  Y F : X DEF Lernfunktion DEF formales Neuron Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

10 Modellierung von Netzen
DEF Neuronales Netz Ein neuronales Netz ist ein gerichteter Graph G := (K,E) aus einer Menge von Knoten K = {v}, den neuronalen Einheiten, und einer Menge von Kanten E  KxK, den Verbindungen zwischen den Einheiten. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

11 Ausgabefunktionen Binäre Ausgabefunktionen
z.B. Kodierung von qual.Merkmalen rot = 1, braun = 0 y = SB(z) := y = SB(z) := Heavyside-Funktion Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

12 Formale Neuronen Veränderung: w3 = -⅓ → -⅔ : log. Gatter = ?
Anwendung binäre Funktion: log. Gatter x x 1 2 x1 x2 z=x1/2 + x2/2 X1 OR x2 z=0 1 z=½>1/3 SB=1 z= 1>1/3 SB=1 x 3 w 2 w 1 w 3 z y w1 = ½ w2 = ½ w3 = -⅓ z = w1x1+w2x2+w3x3 Veränderung: w3 = -⅓ → -⅔ : log. Gatter = ? Schwellwertveränderung: Wechsel der Funktionalität! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

13 Ausgabefunktionen Begrenzt-lineare Ausgabefunktionen y = SL(z,s) :=
k=zmax/2s y = SL(z,s) := k=zmax/s Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

14 Ausgabefunktionen Sigmoidale Ausgabefunktionen Kosinus-Quetschfunktion
Fermi-Funktion, logistische Funktion Kosinus-Quetschfunktion SF(z) := K=const SC(z) := sowie hyperb. Tangens ST(z) := 2SF(z)-1 = = tanh(kz) Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

15 A A0 Formale Neuronen Zeitmodellierung
Ann.: Abfluss der Ladung aus dem Zellkörper -z/t mit sinkender Spannung proportional geringer -z/t ~ –z(t) oder -z/t = –z(t) * Rechnung * t t t´ Visualisierung z(t) A0 A Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

16 Schichten DEF Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

17 Lineare Transformation mit NN
lineare Schicht y = = W·x Matrix-Multiplikation Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

18 Affine Transformation mit NN
2-dimensional Drehung Skalierung Shift W = Wshift  Wrot  Wscal = Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

19 Grundlagen Modellierung Klassifizierung

20 Klassenbildung heute Objekte werden durch Merkmale beschrieben
z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett, ...) quantitativ Mensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7, ...) Idee = Form = „Klassenprototyp“ Muster eines Objekts  (Breite, Höhe) = x Breite c 2 Höhe 1 Trennung von Klassen Blütensorte Blütensorte 2 Klassenprototyp Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c1,c2. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 20 -

21 Klassentrennung Klassentrennung durch Trenngerade mit f(x1) = x2= w1x1+w3 z<0 z= bzw. z = w1x1+w2x2+w3x3 = 0 z>0 mit x3 := 1 Breite x1 c 2 Höhe x2 1 Mit z = = wTx Klassenentscheidung y = S(z) = Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

22 Trennung mehrerer Klassen
DEF Lineare Separierung Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2 des Musterraums  = 12 mit 12 =  heißen linear separierbar, falls eine Hyperebene {x*} existiert mit g(x*) = wTx* = 0, so daß für alle x1 gilt g(x)<0 und für alle x2 gilt g(x)>0. 12 =  muss gelten damit eine Grenze die Klassen trennen kann. (notwendig). Allerdings reicht dies nicht aus wenn eine Gerade verwendet wird. Beispiel: 4 Punkte. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

23 Klassentrennung durch formales Neuron
Klassentrennung durch binäres Neuron x1 x2 x3 xn-1 ... 1 SB(z) y = 0: Klasse 1 y = 1: Klasse 2 z = wTx Klassenentscheidung y = SB(z) = z = = wTx Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

24 Lernen ! ? WIE erhalten wir die richtigen Gewichte,
d.h. die richtige Klassifizierung ? Lernen ! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009

25 Assoziativ-speicher

26 Neuro-Modell des Assoziativspeichers
Funktion: Jede Komp.ist lin. Summe zi = wix Nichtlin. Ausgabe: yi = SB(zi) = Lernen von W ? Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 26 -

27 Lernen im Assoziativspeicher
Speichern aller N Muster mit Hebbscher Regel Auslesen eines Musters r y = Wxr = z = r Lr(xr)Txr + assoziierte Antwort Übersprechen von anderen Mustern Orthogonale Muster xr: Übersprechen = 0, exakte Reproduktion. Nicht-orthogonale Muster: Schwellwerte nötig zum Unterdrücken des Übersprechens. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 27 -

28 Trennung mehrerer Klassen
Erinnerung: Lineare Separierung 1 Neuron: 1 Trennlinie (Ebene) x2 xr (1,1) 2 Neurone: 2 Trennlinien (Ebenen) xq xp (0,1) Bereiche trennbar (1,0) (0,0) xk x1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 28 -

29 Trennung mehrerer Klassen
Problem: Klassenentscheidung über Korrelationsgröße Entscheidung über x: Klasse p: xxp > xxq Klasse q: xxp < xxq xp xq x2 x1 Frage: x = xp: In welche Klasse? Antwort: in Klasse q ! Lösung (x-y)2 = x2 -2xy +y2 ist minimal  xy ist maximal genau dann, wenn Konstante Länge c = |x|=|y| (normierte Musteraktivität) Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 29 -

30 Trennung mehrerer Klassen
Erweiterung der Mustertupel x  X‘ = (x0 , x1, x2, ..., xn) mit |x‘| = const weil x20 = c2 – |( x1, x2, ..., xn)|2 > 0 (!)  Einbettung in den Hyperraum Beispiel: 2-dim  3-dim x3 c Entscheidung durch cos (a) = = c–2 xTxr cos(a) monoton fallend  Winkel als Distanzmaß min a  max Korrelation xr x xp a x2 xq xk x1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 30 -

31 Assoziativspeicher: Speicherkapazität
M Tupel (x,y) gegeben: Wie viele können zuverlässig gespeichert werden? x1= x2 =...= xM: nur ein Muster speicherbar. y1= y2 =...= yM: beliebig viele Muster speicherbar, da Antwort y immer richtig. Problem der Kodierung der Muster ! Sei |x| = a. Maximaler Musterabstand max d(xp,xq) = min xpxq = 0 bei orthogonalen Mustern Reelle Komponenten: n Dimensionen  n orthogonale Basisvektoren Binäre Komponenten: Mmax = z.B. n=100, a=10, also max M=10 Mittlere Abstand maximal  z.B. n = 100 max M  2n/n-0.5 1029 Die Abschätzung der Binomialformel n!/(n-a)!a! erfolgt über die Stirlingsche Formel der Fakultät n! = (2n)-0.5nne-n Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 31 - 31

32 Assoziativspeicher: Binärspeicher
Spärliche Kodierung Binäre Muster Speichern: wij = Vp yipxjp = maxp yipxjp Kapazität: HB = ln 2 = 0,693 Bit pro Speicherzelle Palm 1980 vergleichbar mit CAM-Speicher Kodierung k = ax = ld m j = ay = O(log n) Konstante Zahl von 1 durch eine Leitung pro Eingabecode CAM vs. Ass.matrix Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 - 32 -