Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

High Performance = Innovative Computer Systems + Efficient Algorithms Friedhelm Meyer auf der Heide 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen.

Ähnliche Präsentationen


Präsentation zum Thema: "High Performance = Innovative Computer Systems + Efficient Algorithms Friedhelm Meyer auf der Heide 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen."—  Präsentation transkript:

1 High Performance = Innovative Computer Systems + Efficient Algorithms Friedhelm Meyer auf der Heide 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Einführung in Algorithmen und Komplexität SS2004

2 Friedhelm Meyer auf der Heide 2 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Was haben wir bisher gemacht? -Rechenmodell: Turingmaschine -Entscheidbare, rekursiv aufzählbare Sprachen, berechenbare Funktionen -Nicht entscheidbare, nicht rekursiv aufzählbare Sprachen -Grammatiken -Reguläre Grammatiken und endliche Automaten -Kontextfrei Grammatiken und Kellerautomaten

3 Friedhelm Meyer auf der Heide 3 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Ziele der Vorlesung -Vorstellung eines der wichtigsten Konzepte der Komplexitätstheorie: NP-Vollständigkeit. - Wir werden sehen: - NP-vollständige Probleme haben sehr große worst-case Laufzeit (falls ) - viele wichtigen (Optimierungs-) Probleme sind NP-vollständig -Aber: NP-vollständige Probleme sind überall: Wie gehen wir mit ihnen um? - Heuristiken - Approximationsalgorithmen

4 Friedhelm Meyer auf der Heide 4 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Komplexitätsmaße T M (x) = Anzahl Schritte, die Turingmaschine M gestartet mit Eingabe x ausführt S M (x) = Anzahl Speicherzellen, die M bei Rechnung gestartet mit x besucht T M (n) = max{T M (x), |x|· n} (worst case Laufzeit) M hat Laufzeit O(t(n)) (M ist O(t(n) zeitbeschränkt), falls T M (n) = O(t(n)) gilt.

5 Friedhelm Meyer auf der Heide 5 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Komplexitätsklassen t : N ! N sei monoton wachsend. DTIME(t(n)) = { L | L kann von einer TM in Zeit O(t(n)) entschieden werden} P = k ¸ 0 DTIME(n k ) P ist die Klasse der Spachen, die von einer deterministischen TM in polynomieller Zeit entschieden werden können. P ist robust : z. B ergibt sich die gleiche Klasse, wenn wir TMs durch Registermachinen oder Java-Programme ersetzen.

6 Friedhelm Meyer auf der Heide 6 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Über die Klasse P Jede Mehrband-TM mit Laufzeit t(n) kann durch 1-Band-TM mit Laufzeit O(t(n)²) simuliert werden. Jede RAM mit Laufzeit t(n) kann durch 1-Band-TM mit Laufzeit O(t(n) 3 ) simuliert werden. Jede 1-Band-TM mit Laufzeit t(n) kann durch RAM mit Laufzeit O(t(n)) simuliert werden. P ist robust!

7 Friedhelm Meyer auf der Heide 7 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Sprachen in P -MST: Eingabe: (G, c, k); entscheide, ob der gewichtete Graph (G,c) einen Spannbaum mit Gewicht · k enthält. -Path: Eingabe: (G, s, t); entscheide, ob im gerichteten Graphen G ein gerichteter Weg von s nach t existiert. -Rel_Prim: Eingabe: (x, y) 2 ; entscheide ob x and y relativ prim sind. -Matching: Eingabe (G, c, k); entscheide, ob der gewichtete Graph (G, c) ein Matching mit Gewicht ¸ k enthält.

8 Friedhelm Meyer auf der Heide 8 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Die Klasse NP Verifizieren versus Berechnen -TSP: Eingabe (G, c, k); entscheide, ob es im gewichteten Graphen (G, c) eine Rundreise der Länge · k gibt. Berechnen (Finden) einer solchen Rundreise scheint sehr schwierig zu sein. Aber: Für eine gegebene Rundreise verifizieren, ob ihr Gewicht · k ist, ist einfach!

9 Friedhelm Meyer auf der Heide 9 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Die Klasse NP Rucksackproblem: (RS) Gegeben sind n Objekte 1, …, n. Objekt i hat Gewicht g i und Wert w i, G={g 1, …, g n }, W={w 1,…,w n }, Gewichtsschranke (Rucksackgröße) g Optimierungsproblem: Suche S µ {1,…,n} so, dass i 2 S g i · g gilt und i 2 S w i maximal wird. Entscheidungsproblem: RS ent = { | Es gibt S µ {1,…,n} mit i 2 S g i · g und i 2 S w i ¸ w} scheint schwierig zu entscheiden zu sein. Aber: Für gegebenes S µ {1,…,n} zu verifizieren, dass S eine Lösung liefert, ist sehr einfach.

10 Friedhelm Meyer auf der Heide 10 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Nichtdeterministische Turingmaschinen

11 Friedhelm Meyer auf der Heide 11 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität NTMs Rechnung einer NTM……… Beobachtung: NTM kann bei fester Eingabe w 2 * viele verschiedene Rechnungen durchführen. Wann akzeptiert sie w?? a)Falls 99 % der Rechnungen akzeptiert sind randomisierte (probabilistische) Algorithmen b)Falls mindestens eine Rechnung akzeptiert Nichtdeterminismus.

12 Friedhelm Meyer auf der Heide 12 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Rechnungen einer NTM Berechnungsbaum einer NTM bei Eingabe w

13 Friedhelm Meyer auf der Heide 13 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Laufzeit von NTMs

14 Friedhelm Meyer auf der Heide 14 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Nichtdeterministische Komplexitätsklassen

15 Friedhelm Meyer auf der Heide 15 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität NP und nichtdeterministische TMs Satz: Es gibt polynomiellen Verifizierer für L genau dann, wenn es eine polynomiell zeitbeschränkte NTM für L gibt. Satz: NP = [ k ¸ 0 NTIME (n k ) NP ist die Klasse aller Sprachen, die von NTMs in polynomieller Zeit akzeptiert werden können.

16 Friedhelm Meyer auf der Heide 16 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Über NP -P µ NP -Offenes Problem: P NP?

17 Friedhelm Meyer auf der Heide 17 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Das Erfüllbarkeitsproblem (Satifiability, SAT) Eine Boolesche Variable x kann Werte 0 und 1 (falsch und wahr) annehmen. Eine Boolesche Formel ist eine Verknüpfung von Booleschen Variablen durch Boolesche Operatoren, z.B. AND ( Æ ), OR ( Ç ), NOT ( : ). Beispiel: = (:x Ç y) Æ (x Ç :z ) ist eine Boolesche Formel mit Variablen x, y, z. ist erfüllbar, falls es eine Belegung der Variablen mit Werten 0, 1 gibt, die wahr macht. Beispiel: ist erfüllbar, z. b. durch x=1, y=1, z=0.

18 Friedhelm Meyer auf der Heide 18 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Das Erfüllbarkeitsproblem (Satifiability, SAT) SAT = { | ist erfüllbare Boolesche Formel} Bem: SAT 2 NP

19 Friedhelm Meyer auf der Heide 19 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Konjunktive Normalform (KNF) Literal: Variable oder negierte Variable Klausel: Disjunktion K von Literalen, K= y 1 Ç … Ç y m, y i Literale Formel in Konjunktiver Normalform (KNF): Konjunktion von Klauseln, = K 1 Æ … Æ K l, K i Klauseln k-SAT Formel: Formel in KNF, in der jede Klausel aus k Literalen besteht. k-SAT= { | ist erfüllbare Boolesche k- SAT Formel}

20 Friedhelm Meyer auf der Heide 20 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität k-SAT k-SAT= { | ist erfüllbare Boolesche k-SAT Formel} Bem: k-SAT 2 NP für jedes k. Satz : 2-SAT 2 P

21 Friedhelm Meyer auf der Heide 21 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität CLIQUE Eine k-Clique in einem Graphen G ist ein vollständiger Teilgraph von G mit k Knoten. CLIQUE = { | G ist ein Graph der eine k-Clique enthält} Bem: CLIQUE 2 NP.

22 Friedhelm Meyer auf der Heide 22 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Polynomielle Reduktion Sei A µ 1 *, B µ 2 *. A heißt polynomiell reduzierbar auf B, falls es eine in polynomieller Zeit berechenbare Funktion f: 1 * ! 2 * gibt, so dass für alle x 2 1 * gilt: x 2 A, f(x) 2 B. Wir schreiben: A · p B Lemma: A · p B und B 2 P ) A 2 P A · p B und B · p C ) A · p C (Transitivität)

23 Friedhelm Meyer auf der Heide 23 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Polynomielle Reduktionen Satz: 3-SAT ist polynomiell auf CLIQUE reduzierbar, d.h. 3-SAT · p CLIQUE. Was ist zu tun? Beschreibe eine in polynomieller Zeit berechenbare Funktion f, die zu einer 3-SAT Formel einen Graphen G und eine Zahl k berechnet, so dass gilt: Ist genau dann erfüllbar, wenn G eine k-Clique enthält.

24 Friedhelm Meyer auf der Heide 24 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität NP-Vollständigkeit Def. : L heißt NP-vollständig, falls gilt: L 2 NP Für jedes A 2 NP gilt A · p L Satz: Ist L NP-vollständig und L 2 P, so ist P = NP. Korollar: Falls NP P gilt, dann sind alle NP- vollständigen Sprachen in NP \ P, also insbesondere nicht in P.

25 Friedhelm Meyer auf der Heide 25 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität NP-vollständige Probleme Wir werden durch Masterreduktionen zeigen: SAT und 3-SAT sind NP-vollständig. Da wir schon gezeigt haben: CLIQUE 2 NP und 3-SAT · p CLIQUE, folgt : CLIQUE ist NP-vollständig.

26 Friedhelm Meyer auf der Heide 26 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Die NP-Vollständigkeit des Erfüllbarkeitsproblems Satz von Cook/Levin: SAT ist NP-vollständig. Zu zeigen: SAT 2 NP (haben wir schon gezeigt) Für jedes L 2 NP gilt: L · p SAT

27 Friedhelm Meyer auf der Heide 27 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Die Reduktion Sei L 2 NP, M=(Q,,, ) eine NTM, die L in Zeit t(n) entscheidet, für ein Polynom t. Aufgabe: Beschreibe eine in polynomieller Zeit berechenbare Funktion f, die bei Eingabe w 2 * eine Boolesche Formel berechnet, so, dass gilt: M akzeptiert w, ist erfüllbar

28 Friedhelm Meyer auf der Heide 28 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Der Beweis Idee: Berechne aus Eingabe w, |w|=n, eine Formel, so dass erfüllende Belegungen für zu akzeptierenden Rechnungen von M gestartet mit w korrespondieren.

29 Friedhelm Meyer auf der Heide 29 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Weitere NP-vollständige Probleme Eine Knotenüberdeckung in einem Graph G = (V,E) ist eine Menge U µ V mit für alle e 2 E. KNOTENÜBERDECKUNG := {, G enthält Knotenüberdeckung der Größe k} -KNOTENÜBERDECKUNG 2 NP -CLIQUE · p KNOTENÜBERDECKUNG Aufgabe: Gebe eine in polynomieller Zeit berechenbare Funktion an, die zu jedem ein (G, k) berechnet, so dass gilt: G enthält Knotenüberdeckung G enthält k-Clique der Größe k

30 Friedhelm Meyer auf der Heide 30 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Weitere NP-vollständige Probleme SUBSETSUM -SUBSETSUM 2 NP -3-SAT · p SUBSETSUM Aufgabe: Gebe einen in polynomieller Zeit berechenbare Funktion an, die zu jeder 3-SAT Formel eine Menge und ein berechnet, so dass gilt:

31 Friedhelm Meyer auf der Heide 31 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Weitere NP-vollständige Probleme RUCKSACK: { | es existiert S µ {1, …, n} mit i 2 S g i · g und i 2 S w i ¸ w} - RUCKSACK 2 NP - SUBSETSUM · p RUCKSACK

32 Friedhelm Meyer auf der Heide 32 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Weitere NP-vollständige Probleme Ein Hamiltonkreis in einem Graphen S ist ein Kreis in S, der jeden Knoten berührt. HAMILTONKREIS := {, G enthält Hamiltonkreis} TSP:= {, G ist vollständiger Graph mit Kantengewichten so dass G einen Hamiltonkreis mit Gesamtlänge · k enthält}

33 Friedhelm Meyer auf der Heide 33 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Heuristiken …. sind Algorithmen, die exakte Lösungen für Probleme berechnen, in der Praxis häufig sehr schnell sind, aber typischerweise sehr schlechte worst case Laufzeit haben. Beispiele: -Backtracking -Branch & Bound -Lokale Verbesserung (Genetische Algorithmen, Simulated Annealing, …….)

34 Friedhelm Meyer auf der Heide 34 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Backtracking ….findet Anwendung bei Problemen, deren Lösungen aus vielen Komponenten zusammengesetzt sind. Bsp : 3 SAT : Lösung: (a 1, …, a n ) 2 {0,1} n HC : Lösung: Knotenfolge (1, v 2, …, v n ) Erste Idee: erschöpfende Suche (exhaustive search) Durchsuche systematisch alle Lösungen durch Tiefen- oder Breitensuche im Suchbaum. 3 SAT: Binärer Baum der Tiefe n ! 2 n Blätter HC : n-ärer Baum der Tiefe n ! n n Blätter oder (etwas schlauer) Baum mit Graden n-1, n-2, n-3, … ! (n-1)! Blätter. Worst Case und Best Case: O(2 n ) bzw. O(n n ) bzw. O (n!)

35 Friedhelm Meyer auf der Heide 35 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Idee des Backtracking Führe Tiefensuche aus, versuche frühzeitig an einem Knoten zu erkennen, ob unter ihm noch eine zulässige Lösung liegt, d.h.: ob die durch den Knoten beschriebene Teillösung zur Gesamtlösung vervollständigt werden kann. Falls nicht, gehe gar nicht erst in den Subbaum hinein, sondern gehe eine Kante rückwärts im Baum (backtrack)).

36 Friedhelm Meyer auf der Heide 36 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Backtrack-Regeln für 3-SAT Frage: Wann ist Teillösung (a 1, …, a i, x, x, …, x) für eine 3SAT-Formel garantiert nicht zur Gesamtlösung erweiterbar? Antwort: Wenn die belegten Variablen bereits mindestens eine Klausel falsch macht. Bsp. : enthält Klausel (x 1 Ç :x 2 Ç x 5 ) und Teillösung ist (0,1,1,00, x x … x) Frage: Wann ist Teillösung garantiert zur Gesamtlösung erweiterbar? Antwort: Wenn die belegten Variablen bereits in jeder Klausel je mindestens ein Literal wahr macht. [Einfache Variante des Davis-Putnam Algorithmus]

37 Friedhelm Meyer auf der Heide 37 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Brand & Bound ….. ist Backtracking für Optimierungsprobleme. Beispiel TSP: Gegeben: vollständiger Graph G mit Kantengewichten d(i,j) Gesucht : Rundreise 1, v 1 … v n-1 mit minimaler Länge. Beobachtung: Da G vollständig ist, ist jede der (n-1)! möglichen Rundreise zulässig. Idee: Durchlaufe G wieder mit Tiefensuche, berechne an jeden Knoten untere Schranken LB für die Länge der kürzesten Rundreise, die mit dieser Teillösung T erreichbar ist. d.h.: Berechne Zahl LB, so dass jede Rundreise, die Erweiterung von T ist, Länge mindestens LB hat. Führe Backtrack durch, falls LB > beste bisher gefundene Lösung

38 Friedhelm Meyer auf der Heide 38 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Approximationsalgorithmen …liefern in polynomieller Zeit Lösungen für Optimierungsprobleme, die nur um einen festen Faktor (die Güte des Appr. Algo) vom Optimum entfernt sind. TSP: Falls in (G, w) die kürzeste Rundreise Länge k hat, muss ein Appr. Alg. mit Güte c eine Rundreise der Länge liefern. [Minimierungsproblem, c > 1] Rucksack: Falls G, g, W eine Lösung mit Gewicht k erlaubt, muss ein Appr. Algo mit Güte c eine Lösung mit Gewicht liefern. [Maximierungsproblem, c < 1]

39 Friedhelm Meyer auf der Heide 39 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Bsp 1: Max-Cut Ein Schnitt (Cut) eines Graphen G = (V, E) ist definiert durch eine Menge w(S):= # Kanten zwischen S und V-S in G. Max Cut: Berechne zu Graph G einen Max-Cut, d.h. Zugehöriges Entscheidungsproblem: Eingabe: (G, k) Frage : Ist Max-Cut ist NP-vollständig.

40 Friedhelm Meyer auf der Heide 40 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Appox. Algo für Max-Cut Eingabe: G = (V, E) S := Solange v 2 V existiert, so dass w(S M {v}) > w(S) ist, setze S := S M {v} Ausgabe w(S), S Laufzeit: O(E) pro Schleifendurchlauf, · E Schleifen- durchläufe polynomielle Laufzeit Appr. Güte: Algo liefert Lösung mit Güte ¸ ½ d.h. Für jeden Graphen G liefert er eine Lösung w(S) ¸ ½ Optimum

41 Friedhelm Meyer auf der Heide 41 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Bsp. 2: Metrisches TSP (MTSP) Eingabe: vollst. Graph G mit Kantengewichten w(e) 2, so dass die Dreiecksungleichung gilt: w(a,c) · w(a, b) + w (b,c). Ausgabe: minimale Rundreise (Permutation ) Spezialfall: Euklidisches TSP: V µ, w(a,b) = ||a-b|| Die Entscheidungsprobleme zum metrischen und zum Euklidischen TSP sind NP-vollständig. (ETSP ist Spezialfall von MTSP)

42 Friedhelm Meyer auf der Heide 42 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Appr. Algo für MTSP Eingabe: G = (V,E) vollständig, Kantengewichte die die Dreiecksungleichung erfüllen. 1.Berechne Minimalen Spannbaum T in (G, w). 2.Durchlaufe T in Preorder (Start bei beliebigen Knoten), gebe diese als Rundreise aus. Laufzeit: polynomiell Approximationsgüte: gefundene Rundreise ist höchstens um Faktor 2 länger als optimale Rundreise.

43 Friedhelm Meyer auf der Heide 43 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Grenzen der Approximierbarkeit Satz: Falls NP P gilt, gibt es kein polynomiellen Appr. Algo für TSP mit konstanter Güte c.


Herunterladen ppt "High Performance = Innovative Computer Systems + Efficient Algorithms Friedhelm Meyer auf der Heide 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen."

Ähnliche Präsentationen


Google-Anzeigen