Nichtlineare Optimierung

Präsentation zum Thema: "Nichtlineare Optimierung"—  Präsentation transkript:

1 Nichtlineare Optimierung
Einführung Konvexe Optimierungsprobleme Spezielle Verfahren (Penalty, etc.) Evolutionsstrategien

2 Nichtlineare Optimierung - Einführung
x Î Ân f : Ân ® Â (nichtlinear) gi: Ân ® Â i = 1, ..., m max f (x) gi(x) £ bi i = 1, ..., m x ³ 0

3 Nichtlineare Optimierung - Beispiel (1)
p: Preis-Absatz-Funktion C: Stückkosten-Funktion unter Berücksichtigung der Lernrate Deckungsbeitrag = x × p(x) - c(x) × x x ³ 0 p(x) = 1/(x × x) c(x) = 0.64x max f(x) = 1/x - x * 0.64x

4 Nichtlineare Optimierung - Beispiel (2)
Beispiel Wertpapierportfolio n Wertpapiere mit erwartetem Gewinn mi bei einer Standardabweichung von si (i = 1, ..., n) xi Investitionshöhe in Wertpapier i max S mi xi - b S sij xixj xi ³ 0 (i = 1, ..., n) wobei sij die Kovarianz von Wertpapier i bzgl. j darstellt und b ³ 0 die Risikopräferenz des Entscheidungsträgers widerspiegelt

5 Literatur: Neumann/Morlock: Operations Research München 1993, Hanser-Verlag, Kapitel 4 Seite Domschke/Drexl: Einführung in Operations Research 3. erw. verb. Auflage, Springer-Verlag 1995, Kapitel 8 Abschnitt Seiten

6 Nichtlineare Optimierung - Definitionen
x Î Ân heißt zulässig Û gi(x) £ bi (i = 1, ..., m) und x ³ 0 x Î Ân heißt (global) optimal Û x zulässig und für alle y Î Ân, y zulässig gilt: f(x) ³ f(y) Ue (x) ={y Î Ân | || x-y || < e, zulässig} heißt zulässige e-Umgebung von x x Î Ân heißt lokal optimal Û x zulässig und für alle y Î Ue(x) gilt: f(x) ³ f(y) für wenigstens ein e > 0

7 Lineare - Nichtlineare Optimierung
Lineare Optimierung: lokales Optimum ist globales Optimum Wenn eine optimale Lösung existiert, so ist eine optimale Lösung unter den endlich vielen Ecken des Restriktionspolyeders zu finden. Nichtlineare Zielfunktion, lineare Nebenbe-dingungen: Lokales Optimum nicht notwendigerweise globales Optimum Optimum kann im Inneren des Restriktions- polyeders liegen

8 Literatur: Neumann/Morlock: Operations Research München 1993, Hanser-Verlag, Kapitel 4 Seite 538 Domschke/Drexl: Einführung in Operations Research 3. erw. verb. Auflage, Springer-Verlag 1995, Kapitel 8 Abschnitt Seiten

9 Überblick über Optimierungsverfahren

10 Nichtlineare Optimierung - Einfachster Fall
f: Â ® Â stetig differenzierbar max f(x) x ³ 0 notwendige Bedingung für ein Optimum x > 0: f'(x) = 0 nicht hinreichend: (lokales) Minimum, Maximum oder Sattelpunkt f zweimal stetig differenzierbar: f'(x) = 0, f''(x) < 0 hinreichend für x lokales Optimum und x > 0

11 Einfache Nichtlineare Optimierung - Beispiel
f(x) (lokales) Maximum eigentliches Maximum lokales Maximum Sattelpunkt lokales Minimum x

12 Nichtlineare unrestringierte Optimierung
f: Ân ® Â zweimal stetig differenzierbar max f(x) x Î Ân notwendige Bedingung für ein (lokales) Optimum grad f(x) = 0 hinreichende Bedingung für ein lokales Optimum grad f(x) = 0, H(x) negativ definit

13 Nichtlineare unrestringierte Optimierung (1)
Definitheit einer Matrix: Eine symmetrische Matrix H heißt positiv (semi-)definit, wenn xT × H × x > 0 (> 0) für alle x ¹ 0 gilt. Satz: Eine symmetrische Matrix H ist positiv definit genau dann, wenn alle Hauptabschnittsdeterminanten positiv sind. Satz: Eine symmetrische Matrix H ist positiv definit genau dann, wenn alle Eigenwerte positiv sind.

14 Nichtlineare unrestringierte Optimierung - Beispiel (1)
min x12 + 3x22 + x1x2 - 3x1 - 7x2 grad f(x) = (2x1 + x2 - 3, 6x2 + x1 - 7) = 0 Þ x1 =1, x2 = 1 2 - l 1 = 0 Þ (2 - l) (6 - l) - 1 = 0 l Þ l2 - 8l + 11 = 0 Þ l = 4 ± > 0 Þ positiv definit

15 Nichtlineare unrestringierte Optimierung - Beispiel (2)

16 Literatur: Neumann/Morlock: Operations Research München 1993, Hanser-Verlag, Kapitel 4 Abschnitt Seite Domschke/Drexl: Einführung in Operations Research 3. erw. verb. Auflage, Springer-Verlag 1995, Kapitel 8 Abschnitt Seiten

17 Konvexe Menge Definition Konvexität von Mengen: Eine (Punkt-)Menge K ist konvex, wenn mit je zwei Punkten P1, P2 Î K auch alle Punkte l × P1 + (1 - l) × P2 für 0 £ l £ 1 zu K gehören.

18 Konvexe und Nichtkonvexe Menge - Beispiele
Beispiele für konvexe und nicht-konvexe Mengen Satz: Der Durchschnitt zweier konvexer Mengen ist konvex.

19 Konvexe Funktionen Definition Konvexität von Funktionen: Eine Funktion f: K ®  , welche eine konvexe Menge K in  abbildet, heißt konvex, wenn für je zwei Punkte x1, x2 Î K gilt: f (l × x1 + (1 - l) x2) £ l × f(x1) + (1 - l) × f(x2) für alle 0 £ l £ 1; d.h.: wenn die Menge (Epigraph) {(z,x) | z > f(x), x Î K} “oberhalb” der Funktion f konvex ist.

20 Konvexe Funktionen - Beispiel
Beispiel für eine konvexe Funktion: f(x) = x2

21 Konkave Funktionen Definition Konkavität von Funktionen: Eine Funktion f: K ®  , welche eine konvexe Menge K in  abbildet, heißt konkav, wenn g = -f eine konvexe Funktion ist.

22 Konkave Funktionen - Beispiel
Beispiel für eine konkave Funktion: f(x) = -x4

23 Konvexe und konkave Funktionen
Eine Funktion ist genau dann linear, wenn sie konvex und konkav ist. Beispiel: Satz: Die Summe konvexer Funktionen ist konvex. Satz: Ist f(x) eine auf K konvexe Funktion, dann ist auch a × f(x) für alle reellen a ³ 0 auf K konvex. -2 -1 1

24 Konvexität von Optimierungsproblemen
Satz: Ist f(x) eine auf K konkave Funktion, die nur positive Werte annimmt, dann ist auf K konvex. Satz: Seien gi: Ân ® Â konvex. Dann ist M = {X Î Rn êgi(x) £ 0} eine konvexe Menge

25 Konvexe Optimierungsprobleme
Definition Konvexität von Optimierungsproblemen: Ein Optimierungsproblem max (min) f(x) u.d.N. gi(x) £ 0 x ³ 0 heißt konvex, wenn bei Maximierung (Minimierung) die Zielfunktion f konkav (konvex) und die Funktionen gi der Nebenbedingungen konvex sind.

26 Konvexe Optimierungsprobleme - Beispiel
Beispiel Maximierung einer konkaven Funktion über einen konvexen zulässigen Bereich: Satz: Ein lokales Optimum eines konvexen Optimierungsproblems ist global.

27 Kuhn-Tucker-Bedingungen
Verallgemeinerung der klassischen Multiplikatorenmethode von Lagrange zur Bestimmung von Extremstellen unter Nebenbedingungen, wobei diese nicht nur Gleichungen, sondern auch Ungleichungen enthalten Verallgemeinerte Lagrange-Funktion: L (x1, ..., xn; u1, ..., um) = f(x1, ..., xn) - åi=1ui × gi (x1, ..., xn)

28 Theorem von Kuhn/Tucker (1)
Gegeben sei ein konvexes Optimierungs-problem max f(x1, ..., xn) u.d.N. gi(x1, ...., xn) £ 0 i = 1, ..., m xj ³ 0 j = 1, ..., n. Die Funktionen f und gi, i = 1, ..., m, seien partiell nach allen xj differenzierbar.

29 Theorem von Kuhn/Tucker (2)
Der Vektor (x1, ..., xn) ist genau dann eine optimale Lösung des konvexen Optimie-rungsproblems, wenn es einen Vektor (u1, ..., um) gibt, so daß die folgenden Bedingungen (Kuhn-Tucker-Bedingungen) erfüllt sind:

30 Literatur: Neumann/Morlock: Operations Research München 1993, Hanser-Verlag, Kapitel 4 Seite Domschke/Drexl: Einführung in Operations Research 3. erw. verb. Auflage, Springer-Verlag 1995, Kapitel 8 Abschnitt Seiten

31 Quadratische Optimierung (1)
max f(x) = cT × x + xT × D × x u.d.N. g(x) = A × x - b £ 0 x ³ 0, x Î Ân O.B.d.A.: Für die Elemente der Matrix D gilt: dkj = djk, d.h. D ist symmetrisch Falls dkj ¹ djk, so sind die Elemente durch das arithmetisches Mittel (dkj + djk)/2 zu ersetzen.

32 Quadratische Optimierung (2)
Satz: Die quadratische Funktion f(x) = cT × x+ xT × D × x ist konvex (konkav) genau dann, wenn die symmetrische Matrix D positiv (negativ) semidefinit ist.

33 Beispiel eines quadratischen Optimierungsproblems
Ein Monopolist bietet 2 Produkte in den Mengen x1 und x2 an. Seine beiden Preis-Absatz-Funktionen lauten: 1. p1(x1) = 6 - x1/4 0 < x1 < 24 2. p2(x2) = 10 - x2 0 < x2 < 10. Gesucht wird das erlösmaximale Produktionsprogramm. Die Zielfunktion lautet dann: max E(x1, x2) = p1(x1) x1 + p2(x2) x2 Folgende Absatzbeschränkungen werden untersucht: A: x1 < 15 x2 < 7 B: x1 < 10 x2 < 4 C: x1 + x2 < 10

34 Beispiel eines quadratischen Optimierungsproblems - Graph