Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Prof. Dr. Dr. J. Hansohm Neuere Entwicklungen è Globale Optimierung è Clusterverfahren è sonstige Ansätze è Ameisensysteme è Künstliche Neuronale Netze.

Ähnliche Präsentationen


Präsentation zum Thema: "Prof. Dr. Dr. J. Hansohm Neuere Entwicklungen è Globale Optimierung è Clusterverfahren è sonstige Ansätze è Ameisensysteme è Künstliche Neuronale Netze."—  Präsentation transkript:

1

2 Prof. Dr. Dr. J. Hansohm Neuere Entwicklungen è Globale Optimierung è Clusterverfahren è sonstige Ansätze è Ameisensysteme è Künstliche Neuronale Netze è Globale Optimierung è Clusterverfahren è sonstige Ansätze è Ameisensysteme è Künstliche Neuronale Netze

3 Prof. Dr. Dr. J. Hansohm Globale Optimierung Problemstellung: Lipschitz Bedingung: Eindimensionaler Fall: f: A, A n Ges. x min A mit f(x min ) = f* = min { f(x) | x A } f: A, A n Ges. x min A mit f(x min ) = f* = min { f(x) | x A } | f(x) - f(y) | L || x - y || | f(x) - f(y) | max { f(z) | z A } | x - y | Es lassen sich Intervalle ausschließen, die aufgrund der Lipschitz Bedingung das globale Optimum nicht enthalten können. Es lassen sich Intervalle ausschließen, die aufgrund der Lipschitz Bedingung das globale Optimum nicht enthalten können.

4 Prof. Dr. Dr. J. Hansohm Problem der globalen Optimierung l Existenz (Stetigkeit, Kompaktheit) l Praktikabilität (Dichte des Gitters) l Approximation (cos(x)-a*x für -4 0 a < 0

5 Prof. Dr. Dr. J. Hansohm Clusterverfahren l Idee A: gleichverteiltes Netz, lokale Minimumsuche vom Punkt mit dem kleinsten Wert l Idee B: Jeweils von einem Zufallspunkt aus wird eine lokale Minimumsuche durchgeführt (Multistart Methode) l Idee C: Cluster Punkte eines gleichverteilten Netzes so, daß die Cluster um die lokalen Minima liegen. Lokale Minimumsuche vom Punkt mit dem kleinsten Wert in jedem Cluster l Idee A: gleichverteiltes Netz, lokale Minimumsuche vom Punkt mit dem kleinsten Wert l Idee B: Jeweils von einem Zufallspunkt aus wird eine lokale Minimumsuche durchgeführt (Multistart Methode) l Idee C: Cluster Punkte eines gleichverteilten Netzes so, daß die Cluster um die lokalen Minima liegen. Lokale Minimumsuche vom Punkt mit dem kleinsten Wert in jedem Cluster

6 Prof. Dr. Dr. J. Hansohm Clusterverfahren - Distanzermittlung l Euklidischer Abstand allein vernachlässigt die Informationen, die durch die Funktionswerte der Punkte gegeben sind. l Abhilfe: l Einen (oder mehrere) Gradientenschritte durchführen l Distanz aufgrund eines Dichtemaßes festlegen l Punkt und Gradient in die Distanz mit eingehen lassen l Euklidischer Abstand allein vernachlässigt die Informationen, die durch die Funktionswerte der Punkte gegeben sind. l Abhilfe: l Einen (oder mehrere) Gradientenschritte durchführen l Distanz aufgrund eines Dichtemaßes festlegen l Punkt und Gradient in die Distanz mit eingehen lassen

7 Prof. Dr. Dr. J. Hansohm Sonstige Ansätze l Genetische Algorithmen, Evolutionsstrategien l Simulated Annealing l ausgehend von einem lokalen Minimum durch Zufallspunkte einen Punkt mit einem kleineren Funktionswert finden und so ein neues lokales Minimum ermitteln l Statistische Methoden (Wiener Prozeß) l Branch & Bound (Horst) l Genetische Algorithmen, Evolutionsstrategien l Simulated Annealing l ausgehend von einem lokalen Minimum durch Zufallspunkte einen Punkt mit einem kleineren Funktionswert finden und so ein neues lokales Minimum ermitteln l Statistische Methoden (Wiener Prozeß) l Branch & Bound (Horst)

8 Prof. Dr. Dr. J. Hansohm Testfunktion für globale Minimumsuche f(x 1,x 2 )=4 x ,1 x /3 x x 1 x x x 2 4

9 Prof. Dr. Dr. J. Hansohm Ameisensysteme Ameisensysteme sind wie bei den genetischen Algorithmen der Versuch, durch Adaption natürlichen Verhaltens Optimierungsprobleme heuristisch zu lösen. Ameisensysteme sind wie bei den genetischen Algorithmen der Versuch, durch Adaption natürlichen Verhaltens Optimierungsprobleme heuristisch zu lösen. Beispiel: A A B B A A B B B B A A

10 Prof. Dr. Dr. J. Hansohm Ameisensysteme l Ameisen hinterlassen auf ihrem Weg ein Pheromon l andere Ameisen gehen mit höherer Wahrscheinlichkeit einen Weg je höher der Pheromon Anteil ist, den sie wahrnehmen l Dadurch verstärkt sich der Anteil an Pheromon auf diesem Weg l Ameisen hinterlassen auf ihrem Weg ein Pheromon l andere Ameisen gehen mit höherer Wahrscheinlichkeit einen Weg je höher der Pheromon Anteil ist, den sie wahrnehmen l Dadurch verstärkt sich der Anteil an Pheromon auf diesem Weg

11 Prof. Dr. Dr. J. Hansohm Ameisensysteme Beispiel Traveling Salesman Problem n Orte sind so zu durchlaufen, daß die Gesamtlänge des Weges minimal wird (Rundreiseproblem). n Orte sind so zu durchlaufen, daß die Gesamtlänge des Weges minimal wird (Rundreiseproblem). Ameise wählt einen nächsten Ort mit einer Wahr- scheinlichkeit in Abhängigkeit der Distanz zum nächsten Ort und dem Grad an Pheromon Ameise wählt einen nächsten Ort mit einer Wahr- scheinlichkeit in Abhängigkeit der Distanz zum nächsten Ort und dem Grad an Pheromon Ein schon durchlaufener Ort ist Tabu, es sei denn, die Tour würde damit zur Rundreise Ein schon durchlaufener Ort ist Tabu, es sei denn, die Tour würde damit zur Rundreise Wenn eine Ameise eine Rundreise geschafft hat, so hinterläßt sie Pheromon an jeder Kante, die sie durchlaufen hat Jeder Knoten des Graphen wird mit einer Anzahl von Ameisen versehen Jeder Knoten des Graphen wird mit einer Anzahl von Ameisen versehen

12 Prof. Dr. Dr. J. Hansohm Ameisensysteme l Menge an Pheromon abhängig von der Güte der Rundreise Parameter Q (cycle) altes Pheromon verflüchtigt sich Parameter Distanz zum nächsten Ort und Pheromon- intensität werden unterschiedlich gewichtet Parameter (Ort) und l Pheromon wird sofort ausgeschüttet unabhängig von der Distanz (quantity, density) l Menge an Pheromon abhängig von der Güte der Rundreise Parameter Q (cycle) altes Pheromon verflüchtigt sich Parameter Distanz zum nächsten Ort und Pheromon- intensität werden unterschiedlich gewichtet Parameter (Ort) und l Pheromon wird sofort ausgeschüttet unabhängig von der Distanz (quantity, density) Parameter:

13 Prof. Dr. Dr. J. Hansohm Ameisensysteme Ergebnisse: ( = gute Lösungen) (jeweils 10 Durchläufe) ( 8 einfache Heuristiken ohne Verbesserung) ( 8 einfache Heuristiken ohne Verbesserung) (AS =Ameisensystem TS=Tabu Search SA=Simulated Annealing) (AS =Ameisensystem TS=Tabu Search SA=Simulated Annealing)

14 Prof. Dr. Dr. J. Hansohm o Künstliches Neuron Summations- funktion net Transfer- funktion F Output- funktion o x1x1 x2x2... xnxn w1w1 w2w2 wnwn net(...w i...x i...) a=F(a, net) o(a) net= w i *x i a=1/(1+e -g*net ) i=1 n o=a

15 Prof. Dr. Dr. J. Hansohm Formen von Neuronalen Netzen (NN) Selbstorganisierende Netze Selbstorganisierende Netze Feed Forward Netze Eingangsschicht Ausgangsschicht

16 Prof. Dr. Dr. J. Hansohm Backpropagation Netzwerk Fehler- korrektur (Lernregel) Gewichte Eingangs- muster Ausgangs- muster Schicht

17 Prof. Dr. Dr. J. Hansohm Delta Lernregel Fehler definiert als E = ½ (z i - o i ) 2, wobei o i der tatsächliche und z i der gewünschte Output ist Fehler definiert als E = ½ (z i - o i ) 2, wobei o i der tatsächliche und z i der gewünschte Output ist Hierauf wird ein Gradientenverfahren angewandt, welches ergibt: w ij (t+1) = w ij (t) + i o j ist hierbei die Lernrate, bzw. die Schrittweite beim Grad.-Verfahren i = F(net i ) * (z i - o i ) für die Outputschicht i = F(net i ) * h w hi über alle h Nachfolgeschichten sonst F(net i ) ist hierbei die Transferfunktion des Neurons i

18 Prof. Dr. Dr. J. Hansohm Delta Lernregel - Vorgehensweise l Initialisierung: Alle Gewichte erhalten zufällige kleine Werte von -0,1 bis +0,1 l Anlegen der Inputdaten, ermitteln der Outputdaten, Fehler feststellen, mit Deltaregel lernen. Vorgang wiederholen. l Stop bei ausreichend geringem Fehler l Verbesserung der Lernregel mit Momentum l Initialisierung: Alle Gewichte erhalten zufällige kleine Werte von -0,1 bis +0,1 l Anlegen der Inputdaten, ermitteln der Outputdaten, Fehler feststellen, mit Deltaregel lernen. Vorgang wiederholen. l Stop bei ausreichend geringem Fehler l Verbesserung der Lernregel mit Momentum w ij (t) = i o j + w ij (t-1) und w ij (t+1) = w ij (t) + w ij (t)

19 Prof. Dr. Dr. J. Hansohm Lineare Diskriminanzanalyse mit NN net = w 0 + w i *x i i=1 n 1 x1x1 xnxn w0w0 w1w1 wnwn... 1 = solvent 0 = insolvent

20 Prof. Dr. Dr. J. Hansohm NN und Kursprognose Beispiel: Eingabe - 20 fortlaufende Tageskurse Ausgabe - 3 darauf folgende Tageskurse Lernen jeweils an alten Datenreihen Transferfunktionen: sigmoid und sinus 20 Eingangs- schicht Eingangs- schicht Hidden Layers Hidden Layers Ausgangs- schicht Ausgangs- schicht

21 Prof. Dr. Dr. J. Hansohm NN und Reihenfolgeprobleme Trainiert mit durch anderen Algorithmus errechneten optimalen Reihenfolgen (Johnson-Algor.) Trainiert mit durch anderen Algorithmus errechneten optimalen Reihenfolgen (Johnson-Algor.) Reihenfolge- nummer Reihenfolge- nummer Zeiten Produktionsstufe I Zeiten Produktionsstufe II Zeiten Produktionsstufe I Zeiten Produktionsstufe II solange Aufträge vorhanden ermittle kürzeste Bearbeitungszeit der Aufträge Auftrag eindeutig? streiche den eingeplanten Auftrag J J N N Auftrag auf 1. freie Position Auftrag auf 1. freie Position Auftrag auf 1. freie Position Auftrag auf 1. freie Position Auftrag auf letzte freie Position Auftrag auf letzte freie Position Einer dieser Aufträge auf 1. freie Position Einer dieser Aufträge auf 1. freie Position Min. Bearbeitungszeit bei Prod. Stufe I ? Min. Bearbeitungszeit bei Prod. Stufe I ? Min. Bearbeitungszeit beim selben Auftrag? Min. Bearbeitungszeit beim selben Auftrag? J J J J N N N N

22 Prof. Dr. Dr. J. Hansohm Problem des Overlearning Backpropagation Netz mit weniger Verbindungen Backpropagation Netz mit weniger Verbindungen Baetge u.a.: Früherkennung der Unternehmenskrise - NN als Hilfsmittel für Kreditprüfer Baetge u.a.: Früherkennung der Unternehmenskrise - NN als Hilfsmittel für Kreditprüfer Prognoseproblem Polynom n.ten Grades ist i.a. eine sehr schlechte Prognose, geht aber durch alle vorgegebenen Punkte. Polynom n.ten Grades ist i.a. eine sehr schlechte Prognose, geht aber durch alle vorgegebenen Punkte.

23 Prof. Dr. Dr. J. Hansohm ALS - Algorithmus Skalierungen fest Modellparameter fest passe Skalierungen sukzessiv an bei festen Modellparametern (und bei festen anderen Skalierungen) berechne Modellparameter bei festen (willkürlichen) Skalierungen

24 Prof. Dr. Dr. J. Hansohm NN bei qualitativen Daten schlecht mittel gut w1w1 w2w2 nominaler Input quantitativer Input schlecht mittel gut w1w1 w 1 +w 2 0

25 Prof. Dr. Dr. J. Hansohm Klassifikation mit Backpropagation NN Merkmalsausprägungen bottleneck sollen reproduziert werden Das NN soll die Merkmalsausprägungen wieder reproduzieren mit einer der Cluster- anzahl vorgegebenen verdeckten Schicht Das NN soll die Merkmalsausprägungen wieder reproduzieren mit einer der Cluster- anzahl vorgegebenen verdeckten Schicht Entspricht einer Art Haupt- komponentenanalyse mit an- schließender Festlegung zu den Klassen; z.B. das Objekt wird der Klasse (blaues N) zugeordnet, die den höchsten Input des ent- sprechenden Datensatzes erfährt. Entspricht einer Art Haupt- komponentenanalyse mit an- schließender Festlegung zu den Klassen; z.B. das Objekt wird der Klasse (blaues N) zugeordnet, die den höchsten Input des ent- sprechenden Datensatzes erfährt.

26 Prof. Dr. Dr. J. Hansohm Kohonen Netz Self Organizing Map (SOM) Neuronen der SOM regen sich unter- einander an in Abhängigkeit ihrer Lage im Raum. nahe N werden angeregt mittlere N werden gehemmt weiter weg liegende N erhalten nichts Neuronen der SOM regen sich unter- einander an in Abhängigkeit ihrer Lage im Raum. nahe N werden angeregt mittlere N werden gehemmt weiter weg liegende N erhalten nichts N der SOM Schicht bildet aus den Outputs der Eingabeschicht mit den Gewichten: w ki *x i, erregt, hemmt mit gaussscher Glockenkurve benachbarte N. Vereinfachung: nur das am stärksten extern erregte N wird betrachtet, x i =1 und w ki für alle Neuronen k gleich. N der SOM Schicht bildet aus den Outputs der Eingabeschicht mit den Gewichten: w ki *x i, erregt, hemmt mit gaussscher Glockenkurve benachbarte N. Vereinfachung: nur das am stärksten extern erregte N wird betrachtet, x i =1 und w ki für alle Neuronen k gleich. Veränderung der Gewichte mittels Delta- regel. Gewichte gleichen sich den Outputs an. Veränderung der Gewichte mittels Delta- regel. Gewichte gleichen sich den Outputs an. Eingabeschicht w ki x1x1 x1x1 x2x2 x2x2

27 Prof. Dr. Dr. J. Hansohm Kohonen Netz und Traveling Salesman Pr. SOM eindimensional (Ring, wie dargestellt) Eingabevektoren 2-dim (x 1, x 2 ) Ortskoord. SOM eindimensional (Ring, wie dargestellt) Eingabevektoren 2-dim (x 1, x 2 ) Ortskoord. Nach einer Reihe von Schritten (z.B ) gleichen die Gewichte der N den Ortskoord. Reihenfolge auf dem Ring ergibt Reihen- folge der Tour Nach einer Reihe von Schritten (z.B ) gleichen die Gewichte der N den Ortskoord. Reihenfolge auf dem Ring ergibt Reihen- folge der Tour

28 Prof. Dr. Dr. J. Hansohm Kohonen Netz und Klassifikation Eingabeschicht entsprechend der Dimension der Merkmalsvektoren Eingabeschicht entsprechend der Dimension der Merkmalsvektoren SOM Schicht entsprechend der Anzahl der Klassen SOM Schicht entsprechend der Anzahl der Klassen Netz soll bei Anlegen einer Merkmalsausprägung mit der Erregung eines winner Neurons reagieren. Dies ent- spricht dann der Klasse. Netz soll bei Anlegen einer Merkmalsausprägung mit der Erregung eines winner Neurons reagieren. Dies ent- spricht dann der Klasse. Teilweise besser als mit hierarchischen Verfahren gewonnene Klassen, benötigt auch keine Distanzmatrix. Aber lange Rechenzeiten und kein Vergleich mit z.B. Austauschverfahren. Teilweise besser als mit hierarchischen Verfahren gewonnene Klassen, benötigt auch keine Distanzmatrix. Aber lange Rechenzeiten und kein Vergleich mit z.B. Austauschverfahren.

29 Prof. Dr. Dr. J. Hansohm Vor- und Nachteile Neuronaler Netze l adaptives Lernen l sinnvolle Reaktion auch bei bisher nicht berücksichtigten Problemen l relativ stabil gegenüber logischen Widersprüchen l keine Erklärungskomponente l keine Verifizierung der Entscheidung l sensibel gegenüber Veränderungen im Datenmaterial l Qualität abhängig von der Güte der Trainings- daten und dem Typ des Neuronalen Netzes l adaptives Lernen l sinnvolle Reaktion auch bei bisher nicht berücksichtigten Problemen l relativ stabil gegenüber logischen Widersprüchen l keine Erklärungskomponente l keine Verifizierung der Entscheidung l sensibel gegenüber Veränderungen im Datenmaterial l Qualität abhängig von der Güte der Trainings- daten und dem Typ des Neuronalen Netzes


Herunterladen ppt "Prof. Dr. Dr. J. Hansohm Neuere Entwicklungen è Globale Optimierung è Clusterverfahren è sonstige Ansätze è Ameisensysteme è Künstliche Neuronale Netze."

Ähnliche Präsentationen


Google-Anzeigen