Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 1 Materialien zu Übung 9 Bälle in Körbe Ranged.

Präsentation zum Thema: "Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 1 Materialien zu Übung 9 Bälle in Körbe Ranged."—  Präsentation transkript:

1 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 1 Materialien zu Übung 9 Bälle in Körbe Ranged Hash Functions

2 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 2 Konsistentes Hashing Web-Caching durch konsistentes Hashing Familie von Ranged Hash-Funktionen –Seiten und Caches werden auf das Einheitsintervall abgebildet Zuordnung durch minimalen Abstand Eigenschaften: –Monotonie: Beim Hinzufügen neuer Caches keine Umverteilung zw. alten Caches –Balance: Gleichmäßige Belegung der Caches –Last eines Caches beschränkt auf O(t log C) Seiten (min. t/C Caches pro View) –Verbreitung einer Seite beschränkt auf O(t log C) Caches 0 1

3 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 3 Konsistentes Hashing Seiten und Caches werden zufällig auf das Einheitsintervall abgebildet: Analyse: Bälle in Körbe (balls into bins) m Bälle zufällig verteilt auf n Körbe min./max. Anzahl Bälle pro Korb? 0 1

4 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 4 Bälle in Körbe - der Fall m=n (1) Es werden m=n Bälle in n Körbe geworfen. Satz Die Wkeit, dass mindestens t log n/log log n Bälle auf einen Korb fallen, ist höchstens O(1/n c ) für konstante t und c. Anders ausgedrückt: Mit hoher Wkeit, d.h. mit Wkeit 1 - 1/n (1), fallen höchstens t log n/log log n Bälle auf einen Korb. Beweis Vorgehensweise: Bestimme Wkeit (allgemein), dass mindestens k von n Bällen in einen bestimmten Korb fallen Betrachte den Fall, dass mindestens k von n Bällen in irgendeinen der n Körbe fallen Wähle k so, dass dies mit Wkeit 1/n c gilt.

5 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 5 Bälle in Körbe - der Fall m=n (2) Wkeit, dass genau k Bälle in einen bestimmten Korb fallen: Wkeit, dass mindestens k von n Bällen in einen bestimmten Korb fallen: lässt sich aus der Stirling-Formel herleiten: Wir benutzen

6 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 6 Bälle in Körbe - der Fall m=n (3)

7 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 7 Bälle in Körbe - der Fall m=n (4) Wkeit, dass mindestens k von n Bällen in einen bestimmten Korb fallen: Gesucht: Wert für k, so dass die Wkeit Für welches k gilt ? Wir betrachten nur die dominanten Terme:

8 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 8 Bälle in Körbe - der Fall m=n (5) Für welches k gilt ? Umkehrfunktion von k ln k? Wir wählen also k wie folgt:... Wkeit, dass mindestens k von n Bällen in einen bestimmten Korb fallen: Wkeit, dass mindestens k von n Bällen in irgendeinen der n Körbe fallen: bzw. für eine Konstante c = t - 1 + o(1)

9 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 9 Aufgabe 18 Angenommen, c n ln n Bälle werden in n Körbe zufällig geworfen. Beweisen Sie die folgenden Aussagen: –Die Wahrscheinlichkeit, dass einer der Körbe leer bleibt, ist höchstens –Die Wahrscheinlichkeit, dass mehr als k ln n Bälle in einem der Körbe landen für ein geeignetes k>c, ist höchstens (Man kann für jedes c die Konstante k so wählen, dass diese Aussage für eine Konstante c' gilt). Man kann diese Aussagen analog zur Berechnung in den vorangegangenen Folien beweise. Eine Alternative besteht darin, eine Chernoff-Schranke anzuwenden.

10 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 10 Die passende Chernoff-Schranke Eine gebräuchliche Form: Seien X 1,..., X m unabhängige Bernoulli-verteilte Zufallsvariablen mit Erfolgswahrscheinlichkeit p. Für X = X 1 +... + X m und Erwartungswert = E[X] = m p gilt: in die passende Form gebracht: Für t > e 2 gilt:

11 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 11 Lösungshinweise zu Aufgabe 18 Ein Korb bleibt leer: –Wkeit, dass genau k Bälle in einen bestimmten Korb fallen: –Man setze k=0 ein und verwende (1-1/n)n 1/e Mehr als k ln n Bälle in einem Korb –Man betrachte zunächst einen Korb und definiere Zufallsvariablen X i... X m X i = i-ter Ball in diesem Korb –X = X i... X m (Summe der Zufallsvariablen = Anzahl Bälle in diesem Korb) –Man wende die beschriebene Chernoff-Schranke mit t = k ln n an k wird dann so gewählt, dass t > e 2 gilt –Dieses Ergebnis für einen Korb lässt sich auf n Körbe übertragen (Ergebnis mal n) –Zuletzt wählen wir c so (in abhängigkeit von k), dass die Wahrscheinlichkeit O(n -c ) beträgt

12 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 12 Aufgabe 19 Betrachten Sie folgende Views mit den entsprechenden Web-Caches: H V (b) := Menge aller Web-Seiten in Cache b bezüglich View V Ann.: Web-Seiten werden mit einer monotonen Ranged-Hash-Funktion abgebildet. Welche Mengenrelationen zwischen den Web-Seiten, die auf die Web-Caches A, B, C und D abgebildet werden, kann man allein aus der Monotonie ableiten? (z.B. gilt H 2 (A) H 1 (B)?) Welche untere und obere Schranken kann man für die Last (load) der Web- Caches ableiten? Welche Schranken kann man für die Verbreitung (spread) einer Web-Seite ableiten? A CD B View 1 View 2 View 3 View 4 View 5 V1V2V3V4V5 AXX CXXXX DXXXX BXX

13 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 13 Eigenschaften von Ranged Hash Functions Monotonie: Für alle Views gilt: Last (load): wobei := Menge aller Seiten, die Bucket b zugewiesen werden (in View V) Verbreitung (spread):

14 Algorithmen des Internets 2005 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität 14 Lösungshinweise zu Aufgabe 19 Mengenrelationen: –Es gilt z.B. H 4 (A) H 1 (A) Aus der Monotonie-Eigenschaft folgt, dass im größeren View V 4 keine Seiten im Bucket A landen, die nicht auch im kleineren View V 1 in Bucket A sind. Last: (A) = | {H 1 (A) H 4 (A)} | –mindestens: Anzahl der Seiten in H 4 (A) –höchstens: Anzahl der Seiten in H 1 (A) (denn H 4 (A) H 1 (A)) Streuung: (i) = |{ f 1 (i),... f 5 (i) }| –mindestens 2 (durch C und D lassen sich alle Views abdecken, vgl. nebenstehende Tabelle) –höchstens 4 V1V2V3V4V5 AXX CXXXX DXXXX BXX