Effizientes Routing in verteilten skalierbaren Datenstrukturen

Präsentation zum Thema: "Effizientes Routing in verteilten skalierbaren Datenstrukturen"—  Präsentation transkript:

1 Effizientes Routing in verteilten skalierbaren Datenstrukturen
Otto-von-Guericke – Universität Magdeburg Arbeitsgruppe Data and Knowledge Engineering Institut für Technische und Betriebliche Informationssysteme Effizientes Routing in verteilten skalierbaren Datenstrukturen Leipzig, Erik Buchmann, Klemens Böhm

2 Merkmale von Peer-to-Peer Systemen
alle Knoten gleichberechtigt, keine Trennung Client - Server dynamisch skalierbar auf sehr viele, unabhängige Rechner jeder neue Teilnehmer bringt neue Ressourcen ein wirtschaftlicher Betrieb, keine Rechenleistung auf Vorrat

3 Peer-to-Peer Datenstrukturen
Zahlreiche Anwendungen, z.B.: Index- oder Speicherstruktur bei DBMS Object Lookup in sehr großen Datenbeständen / sehr vielen Rechnern Auslieferung von Webseiten Operationen: put(Key,Value), get(Key) Selbstorganisation, selbständige Entscheidungen über Replikation, Lastausgleich, Datenverteilung Varianten: CAN, Chord, Pastry, P-Grid etc.

4 Content-Adressable Networks
Jeder Knoten hat eigenen, n-dimensionalen Schlüsselbereich (Torus) kennt alle Nachbarn seines Schlüsselbereichs leitet Messages an Nachbarn in Richtung des Ziels weiter 13 4 5 3 1 12 2 9 8 10 7 6 11

5 Routing im CAN Operationen: put(Key,Value), get(Key)
13 4 5 3 1 12 2 9 8 10 7 6 11 get(k) Operationen: put(Key,Value), get(Key) Transformation der Anwendungs- schlüssel in CAN-Schlüssel: (Schlüssel) → {k0,k1,...,kn} " → {81256,12445} Nachrichten an den Knoten weitergeben, dessen Schlüsselraum den geringsten Abstand zum Zielpunkt aufweist Kritische Größe: Message Hops pro Operation

6 Vorschlag 1: Kontaktdaten-Cache
zusätzlich zu den Nachbarn weitere Knoten in der Kontaktliste halten veraltete / unvoll- ständige Infor- mationen möglich Informationsbe- schaffung ohne zusätzliche Messages

7 Fragen im Zusammenhang mit dem Kontaktdaten-Cache
Wahl der richtigen Größe des Cache zu klein: ineffektiv zu groß: veraltete Einträge, hoher Ressourcenverbrauch Wahl der optimalen Ersetzungsstrategie wenig veraltete Einträge, kurze Wege zu häufig nachgefragten Datenobjekten Nutzen bei realen Daten unser Szenario: Einsatz bei einem Web-Service

8 Durchführung der Experimente
Simulationsumgebung PC-Cluster aus 32 Rechnern 2GHz-P4, 2 GB RAM, 100 MBit-Ethernet CAN-Prototyp Knoten Abfragen 2D-Schlüsselraum Experimente sowohl mit künstlich generierten als auch mit echten Testdaten

9 Experiment 1: Cache-Größe
bereits geringe Cache-Größe verringert Messages um 2/3

10 Vorschlag 2: Lokalitätserhaltende Schlüsselabbildung
Eingriff bei der Abbildung von Anwendungsschlüsseln auf CAN-Schlüssel Klassisch: Gleichverteilung der Schlüsselwerte z.B. Hash-Funktion soll gleichmäßige Auslastung sicherstellen keine Berücksichtigung der Abfragelokalität Lokalitätserhaltende Schlüsselabbildung Abruf benachbarter Objekte zu konstanten Kosten

11 Realisierung lokalitätserhaltender Schlüsselabbildung
Beispiel: URLs Schlüsselraum des CAN: Schlüsselwerte: /iti_dke/ /iti_dke/lehre/ /iti_dke/lehre/ecommerce.html /~buchmann/index.htm /~buchmann/styles.css /~buchmann/back.jpg /~buchmann/empty.gif /~buchmann/logo.jpg /~buchmann/progrs.htm /~buchmann/arrowleft.gif /~buchmann/main.gif /~buchmann/arrowright.gif

12 Experiment 2: Schlüsselabbildung
Gleichverteilung (Zufallsgenerator) Mittlere Anfragelokalität (Künstliche Websurfer) Hohe Anfragelokalität (Webserver-Log) Zahl der Messages konnte nahezu halbiert werden!

13 Vorschlag 3: Caching-Strategie
Optimierung des Kontaktdaten-Cache durch Wahl einer Verdrängungsstrategie Experimente: Random, LRU, LRD, LFU, ISD ISD: Inverse Square Distribution für P2P-Datenstrukturen entwickelt Wahrscheinlichkeit für ein Node im Cache umgekehrt proportional zum Quadrat der überbrückten Distanz Aber: Ersetzungsstrategie hat keinen großen Einfluß

14 Zusammenfassung und Ausblick
wir haben: ein prototypisches, flexibel anpassbares Content- Adressable Network einen Cluster, auf dem auch parallel arbeitende Peers möglich sind erste Anwendungen und realistische Testszenarien erste Erfolge: winziger Cache für Kontaktdaten beschleunigt Routing die lokalitätserhaltende Abbildung der Anwendungs- schlüssel steigert die Routing-Performanz weiter zukünftige Vorhaben: Entwicklung von Anwendungen, Replikation, Lastausgleich