Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

File Allocation Problem Vergleich zweier Modelle Stefan Nolting.

Ähnliche Präsentationen


Präsentation zum Thema: "File Allocation Problem Vergleich zweier Modelle Stefan Nolting."—  Präsentation transkript:

1 File Allocation Problem Vergleich zweier Modelle Stefan Nolting

2 2File Allocation Problem - Vergleich zweier Modelle Inhalt File Allocation Problem FAP with worst-case delay Zielfunktion Nebenbedingungen Lösungsweg Exkurs: Lagrange Relaxation FAP with average delay Vergleich FAP-WCD / FAP-AD

3 3File Allocation Problem - Vergleich zweier Modelle File Allocation Problem (FAP) Plazierung von Files und deren Kopien in einem verteilten Filesystem Bestimmen der Anzahl der Kopien und deren Position im System die Kosten für das Speichern der Files und der nötigen Kommunikation sollen minimiert werden Wege stehen vorher eindeutig fest stellt ein wichtiges Kriterium beim Design eines verteilten Filesystems dar

4 4File Allocation Problem - Vergleich zweier Modelle Lösungsansätze (1) es existieren viele unterschiedliche Modelle die meisten beachten nicht die Antwortzeiten auf eine Anfrage oder sie betrachten sie nur als eine globale und systemweite Bedingung unrealistisch, da es i.d.R. eine Prioritäts- struktur für Anfragen gibt (realtime- Anwendungen Stapelverarbeitung)

5 5File Allocation Problem - Vergleich zweier Modelle Lösungsansätze (2) hier sollen zwei Modelle für das FAP betrachtet werden sie verfolgen als Ziele die Minimierung der Betriebskosten und die Einhaltung bestimmter Antwortzeiten für on-line Anfragen die zulässigen Antwortzeiten für verschiedene Anfragen und Dateien können unterschiedlich sein

6 6File Allocation Problem - Vergleich zweier Modelle Allgemeines (1) wir betrachten ein Netzwerk mit N Knoten F gespeicherten Dateien L Verbindungen i und j identifizieren Knoten in dem verteilten System d identifiziert eine Datei l identifiziert eine Verbindung

7 7File Allocation Problem - Vergleich zweier Modelle Allgemeines (2) Unterscheidung zwischen Anfragen betrifft nur eine Datei bzw. eine Kopie der Datei Änderungen um die Konsistenz zu wahren muß eine Änderung auf allen Kopien erfolgen der Aufwand von Anfragen und Änderungen ist unterschiedlich

8 8File Allocation Problem - Vergleich zweier Modelle FAP-WCD FAP with worst-case delay Zielfunktion: die Betriebskosten sollen minimiert werden Kosten für Datenspeicherung Kommunikationskosten für die Anfragen Kommunikationskosten für die Änderungen

9 9File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Zielfunktion Kosten für die Datenspeicherung Kosten der Speicherung für Datei d an Knoten j = 1, wenn eine Kopie von Datei d im Knoten j existiert für alle Knoten und alle Dateien

10 10File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Zielfunktion Kommunikationskosten für die Anfragen Umfang der Anfragen von Knoten i nach Datei d = 1, wenn ein Anfrage von Knoten i nach Datei d nach j geroutet wird Kosten für Datentransport von Knoten i nach Knoten j zwischen allen Knoten und für jede Datei

11 11File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Zielfunktion Kommunikationskosten für die Änderungen Umfang der Änderungen die von Knoten i aus, an der Datei d durchgeführt werden Daten müssen auf allen Kopien geändert werden für alle Knoten und alle Dateien falls auf Knoten j eine Kopie existiert, muß eine Daten- transfer von i nach j erfolgen

12 12File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Zielfunktion Kosten die abhängig von den sind

13 13File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Nebenbedingungen jede Anfrage von Knoten i nach Datei d muss genau einmal bedient werden eine Anfrage nach d kann genau dann von Knoten j erfüllt werden, wenn es eine Kopie von d in j gibt

14 14File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Nebenbedingungen die worst-case-Antwortzeit einer Anfrage von Knoten i nach Datei d, muss kleiner oder gleich der maximal akzeptablen Antwortzeit sein das maximale Übertragungsvolumen darf nicht größer sein als die Bandbreite der Verbindung

15 15File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Nebenbedingungen die an Knoten j gespeicherten Dateien dürfen die Kapazität des Knotens nicht überschreiten

16 16File Allocation Problem - Vergleich zweier Modelle FAP-WCD : Nebenbedingungen einige Variablen lassen sich schon jetzt festlegen Nach diesen Festlegungen dominiert Nebenbedingung (1) Nebenbedingung (3) Nebenbedingung (3) ist redundant

17 17File Allocation Problem - Vergleich zweier Modelle Exkurs: Lagrange Relaxation gegeben: ein Optimierungsproblem z* = min c T x u.d.N. Ax b x X alle Restriktionen, die man vernachlässigt, werden mit dem Lagrange Multiplikator in die Zielfunktion aufgenommen z* = min c T x + (Ax-b) u.d.N. x X

18 18File Allocation Problem - Vergleich zweier Modelle Exkurs: Lagrange Relaxation als Lagrange-Funktion erhält man L() = min {c T x + (Ax-b) : xX} Für jeden Vector 0 stellt L() eine untere Schranke für das Optimierungs- problem dar als neues Optimierungsproblem ergibt sich L* = max L() Falls (Ax-b) = 0 ist, ist L* sogar optimal

19 19File Allocation Problem - Vergleich zweier Modelle Exkurs: Lagrange Relaxation Z UB L( k )

20 20File Allocation Problem - Vergleich zweier Modelle Exkurs: Subgradientenmehode Bestimmung von k+1 = k + k (Ax k -b) k gibt die Schrittweite an mit der man sich in die Richtung des Subgradienten bewegt Bestimmung von k

21 21File Allocation Problem - Vergleich zweier Modelle FAP-WCD (Wdh.) min u.d.N

22 22File Allocation Problem - Vergleich zweier Modelle FAP-WCD nach einer Lagrange Relaxation für die Bedingungen (1) und (4) erhält man u.d.N (2), (5) und (6) Z D (u,w) liefert eine untere Schranke

23 23File Allocation Problem - Vergleich zweier Modelle für feste u und w ist Z D (u,w) einfach zu bestimmen FAP-WCD ist jetzt nur noch in der Bed. (2) enthalten und wir durch nach oben beschränkt Koeffizienten vor dem sind unabhängig, deshalb lassen sich die durch einen Koeffizientenvergleich bestimmen falls die Summe der Koeffizienten negativ ist, wird auf gesetzt

24 24File Allocation Problem - Vergleich zweier Modelle FAP-WCD wir benötigen eine zulässige Lösung (bzw. obere Schranke) für die Bestimmung der Schrittweite eine Anfangslösung liefert eine initiale Heuristik die aus zwei Phasen besteht Add Drop

25 25File Allocation Problem - Vergleich zweier Modelle Initiale Heuristik : Add-Drop Add es wird versucht, möglichst viele Anfragen lokal zu befriedigen, ohne jedoch die Kapazität der Knoten zu überschreiten wenn eine zulässige Lösung gefunden ist, beginnt die Phase Drop Drop es werden solange die Kopien gelöscht, die die Kosten am meisten reduzieren, bis eine Bedingung verletzt würde

26 26File Allocation Problem - Vergleich zweier Modelle Lagrange Relaxation nach Add-Drop habe wir eine zulässige Lösung, die eine obere Schranke darstellt durch die jetzt folgende Lagrange Relaxation, können die Bed. (1) und (4) verletzt sein falls Bed. (4) verletzt ist werden Verbindungen überlastet eine zulässige Lösung kann durch Heuristik 2 gefunden werden

27 27File Allocation Problem - Vergleich zweier Modelle Heuristik 2 für die Verbindungen die überlastet sind werden alle Anfragen ermittelt die diese Verbindung benutzten diese werden nach dem Volumen der Anfragen sortiert um eine zulässige Lösung zu erhalten versucht man, die Anfragen mit dem höchsten Volumen lokal zu befriedigen

28 28File Allocation Problem - Vergleich zweier Modelle Heuristik 3 wird durchgeführt, wenn die Bedingung (1) verletzt wird zwei Möglichkeiten für Verletzung Anfragen werden von mehreren Knoten bedient die Anfrage wird von dem Knoten erfüllt, zu dem die geringsten Kommunikationskosten entstehen

29 29File Allocation Problem - Vergleich zweier Modelle Heuristik 3 Anfrage wird von keinem Knoten bedient für alle Knoten, die eine Kopie der nachgefragten Datei haben, wird geprüft, ob es eine Verbindung dorthin gibt, die nicht ausgelastet ist falls es keine Verbindung gibt wird die Anfrage lokal erledigt sonst wird sie von dem Knoten erledigt, zu dem die geringsten Kosten entstehen

30 30File Allocation Problem - Vergleich zweier Modelle Ablauf Anfangslösung, liefert Add-Drop Untere Schranke durch Lagrange Relaxation neue obere Schranke durch Heuristik 2 und Heuristik 3 neue untere Schranke durch Subgradienten- verfahren

31 31File Allocation Problem - Vergleich zweier Modelle Branch and Bound DFS die obere Schranke wird initial durch Add- Drop bestimmt, und wird an jedem Knoten durch die Heuristiken 2 und 3 verbessert die untere Schranke wird an jedem Knoten durch die Subgradientenmethode ermittelt der Baum entwickelt sich anhand der y Variablen

32 32File Allocation Problem - Vergleich zweier Modelle FAP-AD FAP with avarage delay Das Problem ist identisch zum FAP-WCD der einzige Unterschied ist, dass jetzt die durchschnittliche Antwortzeit betrachtet wird die durchschnittliche Antwortzeit einer Anfrage von Knoten i nach Datei d muss kleiner oder gleich der maximal akzeptablen Antwortzeit sein

33 33File Allocation Problem - Vergleich zweier Modelle FAP-AD die Zielfunktion und die Neben- bedingungen bleiben gleich als einzige Nebenbedingung ändert sich Bed. (3) durchschnittliche Antwortzeit für Kommunikation zwischen Knoten i und j

34 34File Allocation Problem - Vergleich zweier Modelle FAP-AD die worst-case Antwortzeit ist konstant die durchschnittliche Antwortzeit ist eine Funktion, die abhängig vom Netzwerkfluß ist daher muß die Vorgehensweise angepaßt werden die Arbeit wird aufgeteilt auf zwei Komponenten Optimierer Simulator

35 35File Allocation Problem - Vergleich zweier Modelle FAP-AD : Optimierer der Optimierer führt die gleichen Schritte aus, die auch für das Lösen des FAP-WCD nötig waren er stoppt jedoch an der Stelle, wo Branch- and-Bound aufgerufen wird an dieser Stelle haben wir eine Lösung die alle Bedingungen erfüllt, außer die neue Bedingung, die die durchschnittliche Antwortzeit betrifft

36 36File Allocation Problem - Vergleich zweier Modelle FAP-AD : Simulator die gefundene Lösung wird an den Simulator übergeben, falls sie besser als die aktuelle ist der Simulator generiert die durchschnitt- lichen Antwortzeiten für die gefundene Lösung falls die generierten Zeiten die Bed. (3a) erfüllen, wird die gefundene Lösung als aktuell beste Lösung übernommen

37 37File Allocation Problem - Vergleich zweier Modelle Laufzeitvergleich: FAP-WCD vs. MPSX FAP-WCD ist einem Standard-LP-Löser, weit überlegen der Standard-LP-Löser MPSX hat für dieses Problem eine CPU-Rechenzeit die ca. 10 bis 100 mal länger ist

38 38File Allocation Problem - Vergleich zweier Modelle Vergleich FAP-WCD - FAP-AD FAP-AD liefert keine optimalen Ergebnisse, da hier nicht der Branch-and-Bound Prozeß durchlaufen wird die Testergebnisse zeigen im schlimmsten Fall Differenzen von 5% zwischen der oberen und der unteren Schranke für zwei von 45 Netzwerkkonfigurationen hat FAP-AD keine Lösung gefunden, die die Bedingung für die durchschnittliche Antwortzeit erfüllte

39 39File Allocation Problem - Vergleich zweier Modelle Vergleich FAP-WCD - FAP-AD die CPU-Rechenzeit von FAP-AD ist im Durchschnitt 2-mal so lang wie die von FAP-WCD da bei dem Vergleich die Werte für die akzeptable Antwortzeit gleich gewählt worden sind, ist die Bed. (3) in beim FAP- WCD strenger FAP-WCD produziert in der Regel eine größere Anzahl an Kopien und geringfügig größere Kosten

40 File Allocation Problem Vergleich zweier Modelle Ende


Herunterladen ppt "File Allocation Problem Vergleich zweier Modelle Stefan Nolting."

Ähnliche Präsentationen


Google-Anzeigen