Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering (LS XI) Fachgebiet Computational.

Ähnliche Präsentationen


Präsentation zum Thema: "Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering (LS XI) Fachgebiet Computational."—  Präsentation transkript:

1 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering (LS XI) Fachgebiet Computational Intelligence Wintersemester 2007/08

2 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden2 MOP: Pareto-Gradientenabstiegsverfahren Annahme: Zielfunktion differenzierbar d = 1: (monokriteriell) v 2 R n ist Abstiegsrichtung in x 2 R n wenn r f(x) v < 0 d > 1: (multikriteriell) v 2 R n ist Abstiegsrichtung in x 2 R n wenn 8 i=1,…,d: r f i (x) v < 0 bzw. max { r f i (x) v : i=1,…,d } < 0 ) Bewegung von x in Richtung v mit geeigneter Schrittweite s führt zu einer Lösung y = x + s ¢ v, die x dominiert: f(y) Á f(x)

3 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden3 MOP: Pareto-Gradientenabstiegsverfahren Berechnung einer Abstiegsrichtung v für gegebenes x Ansatz:max { r f i (x) v : i=1,…,d } min! unter || v || 1 1, v 0 min! unter 8 i=1,…,d: r f i (x) v v 0 8 i=1,…,d: –1 v i 1 lineares Optimierungsproblem (LP) Bestimmung der Schrittweite s finde größtes s mit f(x + s ¢ v) f(x) + s ¢ J(x) v, J(x) Jacobi-Matrix bzw. 8 i=1,…,d: f i (x + s ¢ v) f i (x) + s ¢ r f i (x) v und echt kleiner für mindestens ein i

4 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden4 MOP: Metaheuristiken – Einzelpunktmethoden Arbeitsdefinition: Metaheuristik = def Algorithmischer Rahmen für eine Lösungsstrategie, bei der viele Bestandteile initial unspezifiziert sind. viele algorithmische Bestandteile können ausgetauscht werden, ohne die generelle Lösungsstrategie zu verändern viele verschiedene Algorithmen Aufbau einer Theorie mühsam

5 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden5 MOP: Metaheuristiken – Einzelpunktmethoden Beispiel: Monokriterieller (1+1) – EA (evolutionärer Algorithmus) : Zufallsvektor R Zielfunktion ( min!) Selektion Mutation Zielwerte, die besser als z 0 sind (hier: unspezifiziert)

6 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden6 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterieller (1+1)-EA: Was wäre zu ändern? 1. Mutationsvektoren keine Änderung nötig! 2. Selektion Neudefinition: B(z 0 ) = { z 2 F : z ¹ z 0 } ) keine Änderung an der Rahmenstruktur des Algorithmus!

7 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden7 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterieller (1+1)-EA: B(z 0 ) I(z 0 ) W(z 0 ) = { z 2 F : z ¹ z 0 }better than z 0 = { z 2 F : z || z 0 }incomparable to z 0 = { z 2 F : z 0 ¹ z }worse than z 0 B(z 0 ) I 1 (z 0 ) I 2 (z 0 ) W(z 0 ) z0z0 ) akzeptierenverwerfen

8 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden8 MOP: Metaheuristiken – Einzelpunktmethoden Beispiel: Monokriterielles Threshold Accepting (TA) : Zufallsvektor R Zielfunktion ( min!) Zielwerte, die besser als z 0 sind (hier: unspezifiziert) Threshold T k 0 T k monoton fallend 0

9 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden9 MOP: Metaheuristiken – Einzelpunktmethoden Idee bei monokriteriellem Threshold Accepting (TA) Akzeptiere jede Verbesserung Akzeptiere zu Anfang der Suche auch große Verschlechterungen Akzeptiere danach immer geringere Verschlechterungen ) am Ende nahezu keine Akzeptanz von Verschlechterungen mehr ) Verlassen von lokalen Optima durch Akzeptanz von Verschlechterungen Regeln für T k : T k = c T k-1, c 2 (0,1) T k = T 0 / (k+1) a, a > 0 T k = T 0 / log(k+1) weitere Regeln denkbar und wohl auch im Einsatz

10 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden10 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterielles Threshold Accepting: Was wäre zu ändern? 1. T k wird m-dimensionaler Vektor (ein Threshold je Zielgröße oder einer für alle) 2. ggf. m verschiedene T k – Verringerungsregeln

11 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden11 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterielles TA: B(z 0 ) I(z 0 ) W(z 0 ) = { z 2 F : z ¹ z 0 }better than z 0 = { z 2 F : z || z 0 }incomparable to z 0 = { z 2 F : z 0 ¹ z }worse than z 0 B(z 0 ) I 1 (z 0 ) I 2 (z 0 ) W(z 0 ) z0z0 ) akzeptierenverwerfen

12 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden12 MOP: Metaheuristiken – Einzelpunktmethoden Alternative Akzeptanzregeln für multikriterielles TA Sei i = f i (y k ) – f i (x k ). i > 0 ) Verschlechterung bzgl. Ziel i i < 0 ) Verbesserung bzgl. Ziel i 1. max{ i : i = 1,…,m} T k 2. i w i max{ i, 0 } T k 3. i w i i T k 4. … f(y k ) 2 B( f(x k ) + T k (1,…,1) ) Konvexkombination w 1,…w m

13 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden13 MOP: Metaheuristiken – Einzelpunktmethoden MTA: B(z 0 ) I(z 0 ) W(z 0 ) = { z 2 F : z ¹ z 0 }better than z 0 = { z 2 F : z || z 0 }incomparable to z 0 = { z 2 F : z 0 ¹ z }worse than z 0 B(z 0 ) I 1 (z 0 ) I 2 (z 0 ) W(z 0 ) z0z0 ) akzeptierenverwerfen i w i max{ i, 0 } T k

14 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden14 MOP: Metaheuristiken – Einzelpunktmethoden MTA: B(z 0 ) I(z 0 ) W(z 0 ) = { z 2 F : z ¹ z 0 }better than z 0 = { z 2 F : z || z 0 }incomparable to z 0 = { z 2 F : z 0 ¹ z }worse than z 0 B(z 0 ) I 1 (z 0 ) I 2 (z 0 ) W(z 0 ) z0z0 ) akzeptierenverwerfen i w i i T k

15 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden15 MOP: Metaheuristiken – Einzelpunktmethoden Beispiel: Monokriterielles Simulated Annealing (SA) : Zufallsvektor Zielwerte, die besser als z 0 sind Zielwerte, die schlechter als z 0 sind u » U[0,1], T k 0 monoton fallend

16 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden16 MOP: Metaheuristiken – Einzelpunktmethoden Idee beim monokriteriellem Simulated Annealing: Akzeptiere auch schlechtere Lösungen mit abnehmender Wahrscheinlichkeit, um aus lokalen Optima zu entkommen! Satz (Hayek 1988, Haario & Saksman 1991) T k = T 0 / log(k + 1), m k mit beschränktem Träger ) SA konvergiert gegen globales Optimum mit Wkeit 1 sehr langsame Temperaturverringerung! Praxis: T k+1 = c · T k mit c 2 (0,1) Satz (Belisle 1992) T k = c k ¢ T 0, c 2 (0,1) und supp(m k ) = R n ) SA konvergiert zum globalen Optimum mit Wkeit 1

17 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden17 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterielles Simulated Annealing: Was wäre zu ändern? Zielwerte, die besser als z 0 sind Zielwerte, die schlechter als z 0 sind i (k) = f i (y k ) – f i (x k ) k = max{ i (k) : i = 1,..,m }

18 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden18 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterielles SA: B(z 0 ) I(z 0 ) W(z 0 ) = { z 2 F : z ¹ z 0 }better than z 0 = { z 2 F : z || z 0 }incomparable to z 0 = { z 2 F : z 0 ¹ z }worse than z 0 B(z 0 ) I 1 (z 0 ) I 2 (z 0 ) W(z 0 ) z0z0 ) akzeptierenverwerfen

19 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden19 MOP: Metaheuristiken – Einzelpunktmethoden Multikriterielles Simulated Annealing: Serafini (1992) (k) = ( 1 (k), …, m (k) ) mit i (k) = f i (y k ) – f i (x k ) supp(m k ) kann beschränkt sein R m x R + [0,1]

20 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden20 MOP: Metaheuristiken – Einzelpunktmethoden MSA (Serafini 1992) zzgl. zusammengesetzte Regeln:

21 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden21 MOP: Metaheuristiken – Einzelpunktmethoden MSA (Engrand et al. 1998) Ersatzzielfunktion erfordert 8 i : 8 x: f i (x) > 0 Skalarisierung! vermutlich nicht alle Lösungen erreichbar!

22 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden22 MOP: Metaheuristiken – Einzelpunktmethoden MSA (Engrand et al. 1998) Ersatzzielfunktion Ansatz: g i (x) = exp(f i (x)) Ersatzzielfunktion 8 i : 8 x : g i (x) > 0 lokale und globale Minimalstellen identisch! mit w i = 1/m ) kann nur Pareto-optimale Lösungen im konvexen Zielbereich finden!

23 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden23 MOP: Metaheuristiken – Einzelpunktmethoden Beispiel: Monokriterielles Tabu Search (TS) Tabu-Liste L k mit max. Länge Nachbarschaft N(x) von x 2 X auch schlechtere neue Punkte werden akzeptiert! zugeschnitten für diskrete Probleme

24 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden24 MOP: Metaheuristiken – Einzelpunktmethoden Bisher: Ein Lauf ein Lösungskandidat Erwünscht: Approximation der Paretomenge Ansatz: Einsammeln nicht-dominierter Lösungen Knowles & Corne (2000): Pareto-Archived ES (PAES)

25 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden25 MOP: Metaheuristiken – Einzelpunktmethoden (1+1)-PAES (Knowles & Corne 2000) A k : Archiv zum Zeitpunkt k

26 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden26 MOP: Metaheuristiken – Einzelpunktmethoden (1+1)-PAES (Knowles & Corne 2000)

27 Rudolph: PO (WS 2007/08) MOP: Metaheuristiken – Einzelpunktmethoden27 MOP: Metaheuristiken – Einzelpunktmethoden (1+1)-PAES (Knowles & Corne 2000) Idee: Zielraum unterteilen in Raster mit 2 d ¢ s Zellen (cells); d = dim(F) f1f1 f2f2 most crowded (size = 3) Speichereffiziente Implementierung möglich quadtree


Herunterladen ppt "Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering (LS XI) Fachgebiet Computational."

Ähnliche Präsentationen


Google-Anzeigen