Methoden des Algorithmenentwurfs Kapitel 1.4:Approximations-schemata Christian Scheideler SS 2009 25.03.2017 Kapitel 1

Übersicht Notation Das Rucksack Problem Das Job Scheduling Problem Unmöglichkeit für Approximationsschemas 25.03.2017 Kapitel 1

Notation 4.1 Definition: Sei  ein Optimierungsproblem. Sei A ein Approximationsalgorithmus für , der als Eingabe eine Instanz I von  und ein  mit 0<<1 bekommt. (a) A ist ein polynomielles Approximationsschema (PAS) für , wenn A zu jeder Probleminstanz I und für jedes konstante (0,1) in Zeit O(poly (|I|)) eine zulässige Lösung zu I mit relativem Fehler A(I,) ≤  berechnet. (b) A ist ein streng polynomielles Approximationsschema (FPAS), wenn A ein PAS mit Laufzeit O(poly(|I|,1/)) ist. 25.03.2017 Kapitel 1.4

Notation Bemerkung: Als Abkürzung findet man auch häufig PTAS und FPTAS. Beim PAS sind Laufzeiten der Form O(|I|1/) erlaubt, beim FPAS nicht. Würden wir für ein FPAS eine Laufzeit von O(poly(|I|,log(1/)) fordern, dann würde die Existenz eines solchen FPAS für ein NP-vollständiges Optimierungsproblem bedeuten, dass P=NP ist. 25.03.2017 Kapitel 1.4

Notation 4.2 Satz: Sei  ein kombinatorisches Opti-mierungsproblem, A ein (F)PAS zu , und zu Eingabe I sei Z(I) eine obere Schranke für OPT(I), d.h. OPT(I) ≤ Z(I). Sei *=1/(Z(I)+1). Dann ist A(I,*) = OPT(I). Ist A ein FPAS, so ist die Laufzeit O(poly(|I|,Z(I))). Beweisidee: Minimierung: Maximierung: OPT(I) 25.03.2017 Kapitel 1.4

Beweis: Starte A mit Eingabe I und *. Gemäß Definition 4.1 wird eine zulässige Lösung zu I gefunden mit relativem Fehler A (I,*) = |OPT(I)-A(I,*)| ≤ * OPT(I) D.h. |OPT(I) – A(I,*)| ≤ * ∙ OPT(I) = OPT(I) < 1, Z(I)+1 weil OPT(I) ≤ Z(I) ist. Da der Wert aller zulässigen Lösungen ganzzahlig ist, folgt damit, dass |OPT(I) – A (I,*)|=0, also A(I,*)=OPT(I) ist. 25.03.2017 Kapitel 1.4

Notation Es gibt folgende zwei Möglichkeiten für ein PAS: Es werden in Abhängigkeit zu  nur einige wenige zulässige Lösungen bestimmt, aus denen die beste ausgewählt wird. Nachdem eine zulässige Lösung bestimmt ist, wird diese so lange verbessert, bis die erlaubte Zeit abgelaufen ist. Wir werden hier dem Prinzip von (a) folgen. 25.03.2017 Kapitel 1.4

Übersicht Notation Das Rucksack Problem Das Job Scheduling Problem Unmöglichkeit für Approximationsschemas 25.03.2017 Kapitel 1

Exakter Algo für Rucksack Zur Erinnerung: Das Rucksackproblem ist charakterisiert durch: D={ (W,vol,p,B) | W={1,...,n}, vol:W  IN, B  IN, p:W  IN und für alle w  W gilt vol(w) ≤ B} W ist das Warenangebot, vol die Zuordnung von Volumina zu den Waren, p die Zuordnung von Werten und B die Kapazität des Rucksacks S((W,vol,p,B)) = {A  W | SwA vol(w) ≤ B} f(A) = SwA pw Max Vereinfachend schreiben wir statt „vol(i)“ „vi“. 25.03.2017 Kapitel 1

Exakter Algo für Rucksack Sei OPT(i,v) = max. Wert einer Teilmenge von Objekten aus {1,…,i} mit max. Gewicht v Fall 1: OPT wählt nicht Objekt i OPT wählt beste Teilmenge aus {1,…,i-1} mit max. Gewicht v Fall 2: OPT wählt Objekt i OPT wählt beste Teilmenge aus {1,…,i-1} mit max. Gewicht v-vi 0 falls i=0 OPT(i,v)= OPT(i-1,v) falls vi>v max{OPT(i-1,v), vi+OPT(i-1,v-vi)} sonst 25.03.2017 Kapitel 12

Exakter Algo für Rucksack 1 2 B ……. 1 2 OPT(i-1,v-vi) OPT(i-1,v) OPT(i,v) Dynamisches Programm n Laufzeit: O(nB), nicht polynomiell in n! Nur pseudopolynomiell (d.h. poly(n,maxnr(I))) 25.03.2017 Kapitel 12

Exakter Algo für Rucksack Sei OPT(i,p) = min. Gewicht einer Teilmenge von Objekten aus {1,…,i} mit Wert exakt p Fall 1: OPT wählt nicht Objekt i OPT wählt beste Teilmenge aus {1,…,i-1} mit Wert p Fall 2: OPT wählt Objekt i OPT wählt beste Teilmenge aus {1,…,i-1} mit Wert p-pi 0 falls p=0  falls i=0, p>0 OPT(i,p)= OPT(i-1,p) falls pi>p min{OPT(i-1,p), vi+OPT(i-1,p-pi)} sonst 25.03.2017 Kapitel 12

Exakter Algo für Rucksack 1 2 P*   …….  1 2 OPT(i-1,p-pi) OPT(i-1,p) OPT(i,p) ……. n P*: max. Wert p, so dass OPT(n,p)  B. Laufzeit: O(nP*) = O(n2 pmax), zu groß! 25.03.2017 Kapitel 12

FPAS für Rucksack Idee für FPTAS: Runde alle Werte auf, um kleineren Wertebereich zu erhalten. Verwende vorigen Algo auf gerundeten Werten. Gib optimale Objekte der gerundeten Werte aus. Objekt Wert Gewicht 1 934 2 5956 3 17810 5 4 21217 6 27343 7 Objekt Wert Gewicht 1 2 6 3 18 5 4 22 28 7 25.03.2017 Kapitel 12

FPAS für Rucksack pmax: max. Wert in Originalinstanz : Präzision  =  pmax/n: Skalierungsfaktor Betrachte pi = pi/ und pi = pi/. Beobachtung: Optimale Lösungen zu pi und pi sind äquivalent (bis auf Skalierung). FPAS: verwende pi-Werte (nur O(n/) viele) Damit Laufzeit O(n3/). 25.03.2017 Kapitel 12

FPAS für Rucksack 4.3 Satz: Sei S die Lösung unseres Algos und S* eine beliebige andere zulässige Lösung. Dann ist (1+)iS pi  iS* pi. Beweis: Es gilt: iS* pi  iS* pi runde immer auf  iS pi finde opt. Lösung  iS (pi+) runde nie mehr als   iS pi + n |S|n  (1+)iS pi n =  pmax   iS pi 25.03.2017 Kapitel 12

Übersicht Notation Das Rucksack Problem Das Job Scheduling Problem Unmöglichkeit für Approximationsschemas 25.03.2017 Kapitel 1

Job Scheduling Erinnerung aus Kapitel 1.0: Eingabe: m identische Maschinen, n Jobs. Job i hat Laufzeit pi. Einschränkungen: Ein einmal ausgeführter Job muss bis zum Ende auf derselben Maschine ausgeführt werden. Jede Maschine kann höchstens einen Job gleichzeitig bearbeiten. 1.5 Definition: Sei J(i) die Teilmenge der Jobs, die Maschine i zugewiesen werden. Dann ist Li = jJ(i) pj die Last der Maschine i. 1.6 Definition: Der Makespan L ist die maximale Last einer Maschine, d.h. L = maxi Li Ziel: finde Zuweisung, die Makespan minimiert 25.03.2017 Kapitel 1

Job Scheduling Schon für zwei Maschinen ist das Job Scheduling Problem NP-hart. Falls m konstant ist, können wir folgenden Algorithmus für Instanz I verwenden: Algorithmus Ak(I): 1. Sortiere die Jobs, so dass p1 …pn 2. Finde eine optimale Zuweisung für die ersten k Jobs J1,…,Jk. 3. Wende LPT auf die restlichen Jobs an. 4.4 Satz: Die Laufzeit von Ak ist O(mk + n log n) und damit polynomiell für konstantes k. Beweis: Um einen optimalen Schedule für k Jobs zu finden, müssen wir im schlimmsten Fall alle mk Platzierungen durchgehen. 25.03.2017 Kapitel 1

Job Scheduling 4.5 Satz: Algorithmus Ak hat eine relative Güte von 1+(m-1)/k. Beweis: Sei Jj der Job, der als letzter fertig wird und C der Makespan der Lösung von Ak. Wir unterscheiden folgende Fälle: Fall 1: jk, d.h. Jj ist unter den optimal verteilten Jobs. Dann gilt C=OPT(I). Fall 2: Wir wissen von Lemma 1.9, dass OPT(I)(1/m) i pi. Weiterhin folgt aus dem Beweis von Satz 1.10, dass C  (1/m)i pi +(1-1/m) pj. Also ist C  OPT(I) + (m-1)/mpj. 25.03.2017 Kapitel 1

Job Scheduling Beweis (Fortsetzung): Andererseits gilt OPT(I)  (1/m)i=1n pi  (1/m)i=1k pi  (k/m)pj und damit pj  (m/k)OPT(I). Wir erhalten also C  OPT(I) + (m-1)/mpj  OPT(I) + (m-1)/m(m/k)OPT(I) = (1+(m-1)/k)OPT(I) 25.03.2017 Kapitel 1

Job Scheduling Wir definieren nun das PAS für konstantes m. Für jedes e>0 sei ke:= (m-1)/e und Ae:=Ake. Dann hat der Algorithmus Ae eine Güte von 1+(m-1)/ke  1+ (m-1)/((m-1)/e) = 1+e Also ist Ae ein PAS für das Job Scheduling Problem mit konstanter Anzahl an Maschinen. 4.6 Satz: Für jede konstante Anzahl von Maschinen existiert ein PAS für Job Sche-duling. 25.03.2017 Kapitel 1

Job Scheduling Jetzt wollen wir einen PAS für das Job Scheduling Problem formulieren, der auch für nichtkonstantes m funktioniert. Sei AT,e ein Algorithmus, der zu jeder Instanz I eine Zuweisung mit Makespan höchstens (1+e)T findet, wenn T OPT(I), und sonst „error“ ausgibt. Dann können wir wie folgt einen Algorithmus Ae formulieren, der zu I eine Lösung mit Makespan höchstens (1+e)OPT(I) findet: Algorithmus Ae(I): O:= i=1n pi ; U:=0; T:=O/2; k:= log(i=1n pi) for i:=1 to k do // führe binäre Suche auf [U,O] durch if AT,e(I) = error then { U:=T; T:= (O-U)/2 } else { O:=T; T:= (O-U)/2 } return AT,e(I) 25.03.2017 Kapitel 1

Job Scheduling Wir müssen uns nur noch um AT,e kümmern. Dazu unterteilen wir die Jobs in kleine und große Jobs. Seien also J1:= { in | pi > eT } und J2:= { in | pi  eT } Die Jobs aus J1 werden geeignet skaliert, d.h. wir setzen für alle iJ1 p´i = pi/(e2T). Sollte es für die Jobs aus J1 eine Zuweisung mit Makespan höchstens T geben, so hat die Zuweisung für die Jobs mit Laufzeiten pi/(e2T) einen Makespan von höchstens T/(e2T) = 1/e2. Durch das Runden nach oben kann sich der Makespan höchstens um einen Faktor 1+e auf den Wert T´:= (1+e)/e2 erhöhen. Wie können wir eine solche Zuweisung in poly Zeit finden (wenn sie existiert)? 25.03.2017 Kapitel 1

Job Scheduling Betrachte das folgende Problem: Bin Packing mit eingeschränkten Gewichten: Gegeben eine Menge von n Objekten mit Gewichten w1,…,wnk sowie zwei Zahlen m und b, finde eine Verteilung der Objekte auf m Bins mit Kapazität b, wenn eine solche Verteilung existiert, und sonst gib „error“ aus. 4.7 Lemma: Es gibt einen pseudopolynomiellen Algorithmus für das Bin Packing Problem oben mit Laufzeit O((bn)k). Beweis: über dynamische Programmierung 25.03.2017 Kapitel 1

Job Scheduling Algorithmus AT,e: J1:= { in | pi > eT } J2:= { in | pi  eT } forall iJ1 do p´i = pi/(e2T) T´:= (1+e)/e2 Löse das Bin Packing Problem mit den Gewichten p´i sowie Parametern m und b=T´. Falls keine Lösung existiert, gib „error“ aus, stop. Verteile die Jobs aus J2 mittels List Schedule. Gib die so gefundene Zuweisung aus. 4.8 Satz: AT,e hat eine Laufzeit von O(n1/e). Ist T der optimale Makespan, dann gilt AT,e (I)(1+e)T. 25.03.2017 Kapitel 1

Job Scheduling Beweis: Wenn Zuweisung für große Jobs gefunden wird, hat diese Makespan max. T´ und damit ohne Skalierung max. (1+e)T. Nach dem Verteilen der kleinen Jobs können zwei Fälle auftreten: Fall 1: Der Makespan wird nicht erhöht. Dann folgt der Satz sofort. Fall 2: Der Makespan wird erhöht. Der Lastunter-schied zwischen der Maschine mit minimaler Last Tmin und maximaler Last Tmax ist höchstens eT (die max. Größe eines Jobs in J2). Da weiterhin Tmin(i=1n pi)/m T ist, folgt der Satz. 25.03.2017 Kapitel 1

Übersicht Notation Das Rucksack Problem Das Job Scheduling Problem Unmöglichkeit für Approximationsschemas 25.03.2017 Kapitel 1

Unmöglichkeit für PAS Wir haben gesehen, dass es keinen Polynomialzeit-Approximationsalgo für Bin Packing mit relativer Güte unter 3/2 geben kann, es sei denn, P=NP. Das impliziert natürlich, dass es kein PAS für Bin Packing geben kann. Das kann man allgemeiner formulieren als: 4.9 Satz: Sei P ein Optimierungsproblem und sei für ein festes kIN die Frage „Ist zur Eingabe I von P der Wert OPT(I)k?“ (falls P ein Minimierungsproblem ist) bzw. die Frage „Ist zur Eingabe I von P der Wert OPT(I)k?“ (falls P ein Maximierungsproblem ist) NP-vollständig. Gibt es ein PAS für P, dann ist P=NP. Beweis: Folgt aus Übungsaufgabe 1. 25.03.2017 Kapitel 1

Unmöglichkeit für PAS 4.10 Definition: Ein NP-vollständiges Entscheidungs-problem L heißt stark NP-vollständig, wenn es ein Polynom q gibt, so dass Lq={x | xL und maxnr(x)q(|x|)} NP-vollständig ist. Gibt es kein solches Polynom, heißt L schwach NP-vollständig. Dazu ist äquivalent: Das NP-vollständige Entscheidungs-problem L ist stark NP-vollständig, falls es keinen pseudopolynomiellen Algorithmus für L gibt, es sei denn, P=NP. Denn gäbe es einen exakten Algorithmus für L mit Laufzeit O(poly(|x|,maxnr(x))), wäre die Laufzeit für Lq O(poly(|x|)). 25.03.2017 Kapitel 1

Unmöglichkeit für PAS 4.11 Beispiel: Die Entscheidungsprobleme Hamilton und Clique sind stark NP-vollständig, da in ihnen keine großen Zahlen vorkommen und das Polynom q(n)=n ausreicht. Das Entscheidungsproblem zum allgemeinen TSP ist stark NP-vollständig. Betrachte dazu die Reduktion auf das Hamilton-Kreis Problem, die mit polynomiell großen Kantengewichten auskommt. Auf der anderen Seite können wir das Hamilton-Kreis Problem reduzieren auf das TSP mit Kantenlängen 1 oder 2. Damit ist auch das TSP auf Kantenlängen 1 oder 2 stark NP-vollständig (warum?). Da die Länge jedes Pfades der Länge 2 in einem solchen Graphen mindestens 2 ist und damit die Dreiecksungleichung erfüllt, ist ist auch das Entscheidungsproblem zu DTSP stark NP-vollständig. Rucksack ist dagegen schwach NP-vollständig, wie wir gesehen haben. 25.03.2017 Kapitel 1

Unmöglichkeit für PAS Der nächste Satz ergibt sich aus Satz 4.2 und zeigt, dass eine enge Beziehung zwischen starker NP-Vollständigkeit und der Unmöglichkeit, ein FPAS anzugeben, besteht. 4.12 Satz: Sei P ein Optimierungsproblem. Wenn es ein Polynom q(x1,x2) gibt, so dass für alle Eingaben I gilt, dass OPT(I)q(|I|, maxnr(I)) ist, dann folgt aus der Existenz eines FPAS für P, dass es einen pseudopolynomiellen exakten Algorithmus für P gibt. Beweis: Übung 25.03.2017 Kapitel 1

Unmöglichkeit für PAS Wenn maxnr(I) durch ein Polynom nach oben beschränkt ist, dann ergibt Satz 4.11 natürlich eine polynomielle Laufzeit für den exakten Algorithmus, was uns unmittelbar zu folgender zentraler Aussage führt: 4.13 Korollar: Wenn es für eine Optimierungs-variante eines stark NP-vollständigen Problems ein FPAS gibt, dann ist P=NP. 25.03.2017 Kapitel 1

Unmöglichkeit für PAS Also kann es keinen FPAS für Clique, Knotenfärbungsprobleme und viele andere Optimierungsprobleme geben. Auch das DTSP kann kein FPAS besitzen. Allerdings konnte für EuklidTSP, die Einschränkung des TSP Problems auf einen Euklidischen Raum, ein PAS mit Laufzeit O(n3(log n)1/e) gefunden werden. 25.03.2017 Kapitel 1

Fragen? 25.03.2017 Kapitel 1