Neuere Entwicklungen Globale Optimierung Ameisensysteme

Präsentation zum Thema: "Neuere Entwicklungen Globale Optimierung Ameisensysteme"—  Präsentation transkript:

1 Neuere Entwicklungen Globale Optimierung Ameisensysteme
Clusterverfahren sonstige Ansätze Ameisensysteme Künstliche Neuronale Netze

2 Globale Optimierung Problemstellung: f: A ® Â, A Í Ân
Ges. xmin Î A mit f(xmin) = f* = min { f(x) | x Î A } Lipschitz Bedingung: | f(x) - f(y) | £ L || x - y || Eindimensionaler Fall: | f(x) - f(y) | £ max { f‘(z) | z Î A } | x - y | Es lassen sich Intervalle ausschließen, die aufgrund der Lipschitz Bedingung das globale Optimum nicht enthalten können.

3 Problem der globalen Optimierung
Existenz (Stetigkeit, Kompaktheit) Praktikabilität (Dichte des Gitters) Approximation (cos(x)-a*x für -4<x<4) a > 0 a < 0

4 Clusterverfahren Idee A: gleichverteiltes Netz, lokale Minimumsuche vom Punkt mit dem kleinsten Wert Idee B: Jeweils von einem Zufallspunkt aus wird eine lokale Minimumsuche durchgeführt (Multistart Methode) Idee C: Cluster Punkte eines gleichverteilten Netzes so, daß die Cluster um die lokalen Minima liegen. Lokale Minimumsuche vom Punkt mit dem kleinsten Wert in jedem Cluster

5 Clusterverfahren - Distanzermittlung
Euklidischer Abstand allein vernachlässigt die Informationen, die durch die Funktionswerte der Punkte gegeben sind. Abhilfe: Einen (oder mehrere) Gradientenschritte durchführen Distanz aufgrund eines Dichtemaßes festlegen Punkt und Gradient in die Distanz mit eingehen lassen

6 Sonstige Ansätze Genetische Algorithmen, Evolutionsstrategien
Simulated Annealing ausgehend von einem lokalen Minimum durch Zufallspunkte einen Punkt mit einem kleineren Funktionswert finden und so ein neues lokales Minimum ermitteln Statistische Methoden (Wiener Prozeß) Branch & Bound (Horst)

7 Testfunktion für globale Minimumsuche
f(x1,x2)=4 x12 - 2,1 x14 + 1/3 x16 + x1x2 - 4 x x24

8 Ameisensysteme Ameisensysteme sind wie bei den genetischen Algorithmen der Versuch, durch Adaption natürlichen Verhaltens Optimierungsprobleme heuristisch zu lösen. Beispiel: A B B B A A

9 Ameisensysteme Ameisen hinterlassen auf ihrem Weg ein Pheromon
andere Ameisen gehen mit höherer Wahrscheinlichkeit einen Weg je höher der Pheromon Anteil ist, den sie wahrnehmen Dadurch verstärkt sich der Anteil an Pheromon auf diesem Weg

10 Ameisensysteme Beispiel Traveling Salesman Problem
n Orte sind so zu durchlaufen, daß die Gesamtlänge des Weges minimal wird („Rundreiseproblem“). 5 3 2 1 4 Ameise wählt einen nächsten Ort mit einer Wahr- scheinlichkeit in Abhängigkeit der Distanz zum nächsten Ort und dem Grad an Pheromon Jeder Knoten des Graphen wird mit einer Anzahl von Ameisen versehen Ein schon durchlaufener Ort ist Tabu, es sei denn, die Tour würde damit zur Rundreise Wenn eine Ameise eine Rundreise geschafft hat, so hinterläßt sie Pheromon an jeder Kante, die sie durchlaufen hat

11 Ameisensysteme Parameter: Menge an Pheromon abhängig von der Güte der Rundreise Parameter Q (cycle) „altes“ Pheromon verflüchtigt sich Parameter r Distanz zum nächsten Ort und Pheromon- intensität werden unterschiedlich gewichtet Parameter a (Ort) und b Pheromon wird sofort ausgeschüttet unabhängig von der Distanz (quantity, density)

12 Ameisensysteme Ergebnisse: (jeweils 10 Durchläufe)
( · = gute Lösungen) (AS =Ameisensystem TS=Tabu Search SA=Simulated Annealing) (8 einfache Heuristiken ohne Verbesserung)

13 Künstliches Neuron x1 x2 ... xn w1 w2 wn net o F o ...
Summations- funktion net o Transfer- funktion F Output- funktion o ... net(...wi...xi...) a=F(a, net) o(a) n net= å wi*xi i=1 a=1/(1+e-g*net) o=a

14 Formen von Neuronalen Netzen (NN)
Selbstorganisierende Netze „Feed Forward“ Netze Eingangsschicht Ausgangsschicht

15 Backpropagation Netzwerk
Gewichte Eingangs- muster Ausgangs- muster Fehler- korrektur (Lernregel) Schicht

16 Delta Lernregel Fehler definiert als E = ½ S (zi - oi)2,
wobei oi der tatsächliche und zi der gewünschte Output ist Hierauf wird ein Gradientenverfahren angewandt, welches ergibt: wij(t+1) = wij(t) + s di oj s ist hierbei die Lernrate, bzw. die Schrittweite beim Grad.-Verfahren di = F‘(neti) * (zi - oi) für die Outputschicht di = F‘(neti) * S dh whi über alle h Nachfolgeschichten sonst F(neti) ist hierbei die Transferfunktion des Neurons i

17 Delta Lernregel - Vorgehensweise
Initialisierung: Alle Gewichte erhalten zufällige kleine Werte von -0,1 bis +0,1 Anlegen der Inputdaten, ermitteln der Outputdaten, Fehler feststellen, mit Deltaregel lernen. Vorgang wiederholen. Stop bei ausreichend geringem Fehler Verbesserung der Lernregel mit Momentum Dwij(t) = s di oj + m Dwij(t-1) und wij(t+1) = wij(t) + Dwij(t)

18 Lineare Diskriminanzanalyse mit NN
net = w0 + å wi*xi i=1 n 1 x1 xn w0 w1 wn ... 1 = solvent 0 = insolvent

19 NN und Kursprognose Beispiel: Eingabe - 20 fortlaufende Tageskurse
Eingangs- schicht Hidden Layers Ausgangs- Beispiel: Eingabe - 20 fortlaufende Tageskurse Ausgabe - 3 darauf folgende Tageskurse Lernen jeweils an alten Datenreihen Transferfunktionen: sigmoid und sinus

20 NN und Reihenfolgeprobleme
Trainiert mit durch anderen Algorithmus errechneten optimalen Reihenfolgen (Johnson-Algor.) Reihenfolge- nummer Zeiten Produktionsstufe I Zeiten Produktionsstufe II solange Aufträge vorhanden ermittle kürzeste Bearbeitungszeit der Aufträge Auftrag eindeutig? streiche den eingeplanten Auftrag J N Auftrag auf 1. freie Position auf letzte freie Einer dieser Aufträge Min. Bearbeitungszeit bei Prod. Stufe I ? beim selben Auftrag?

21 Problem des Overlearning
Backpropagation Netz mit weniger Verbindungen Prognoseproblem Baetge u.a.: „Früherkennung der Unternehmenskrise - NN als Hilfsmittel für Kreditprüfer“ Polynom n.ten Grades ist i.a. eine sehr schlechte Prognose, geht aber durch alle vorgegebenen Punkte.

22 ALS - Algorithmus berechne Modellparameter bei festen
(willkürlichen) Skalierungen Skalierungen fest Modellparameter passe Skalierungen sukzessiv an bei festen Modellparametern (und bei festen anderen Skalierungen)

23 NN bei qualitativen Daten
schlecht mittel gut 1 schlecht mittel gut w1 w1+w2 w1 w2 nominaler Input quantitativer Input

24 Klassifikation mit Backpropagation NN
Das NN soll die Merkmalsausprägungen wieder reproduzieren mit einer der Cluster- anzahl vorgegebenen verdeckten Schicht Entspricht einer Art Haupt- komponentenanalyse mit an- schließender Festlegung zu den Klassen; z.B. das Objekt wird der Klasse (blaues N) zugeordnet, die den höchsten Input des ent- sprechenden Datensatzes erfährt. „bottleneck“ Merkmalsausprägungen sollen reproduziert werden

25 Kohonen Netz Neuronen der SOM regen sich unter-
einander an in Abhängigkeit ihrer Lage im Raum. nahe N werden angeregt mittlere N werden gehemmt weiter weg liegende N erhalten nichts Self Organizing Map (SOM) Eingabeschicht wki x1 x2 N der SOM Schicht bildet aus den Outputs der Eingabeschicht mit den Gewichten: å wki*xi , erregt, hemmt mit gauss‘scher Glockenkurve benachbarte N. Vereinfachung: nur das am stärksten extern erregte N wird betrachtet, å xi =1 und å wki für alle Neuronen k gleich. Veränderung der Gewichte mittels Delta- regel. Gewichte gleichen sich den Outputs an.

26 Kohonen Netz und Traveling Salesman Pr.
SOM eindimensional (Ring, wie dargestellt) Eingabevektoren 2-dim (x1, x2) Ortskoord. Nach einer Reihe von Schritten (z.B ) gleichen die Gewichte der N den Ortskoord. Reihenfolge auf dem Ring ergibt Reihen- folge der Tour

27 Kohonen Netz und Klassifikation
SOM Schicht entsprechend der Anzahl der Klassen Netz soll bei Anlegen einer Merkmalsausprägung mit der Erregung eines „winner“ Neurons reagieren. Dies ent- spricht dann der Klasse. Teilweise besser als mit hierarchischen Verfahren gewonnene Klassen, benötigt auch keine Distanzmatrix. Aber lange Rechenzeiten und kein Vergleich mit z.B. Austauschverfahren. Eingabeschicht entsprechend der Dimension der Merkmalsvektoren

28 Vor- und Nachteile Neuronaler Netze
adaptives Lernen sinnvolle Reaktion auch bei bisher nicht berücksichtigten Problemen relativ stabil gegenüber logischen Widersprüchen keine Erklärungskomponente keine Verifizierung der Entscheidung sensibel gegenüber Veränderungen im Datenmaterial Qualität abhängig von der Güte der Trainings-daten und dem Typ des Neuronalen Netzes