Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Otto-von-Guericke – Universität Magdeburg Arbeitsgruppe Data and Knowledge Engineering Institut für Technische und Betriebliche Informationssysteme Effizientes.

Ähnliche Präsentationen


Präsentation zum Thema: "Otto-von-Guericke – Universität Magdeburg Arbeitsgruppe Data and Knowledge Engineering Institut für Technische und Betriebliche Informationssysteme Effizientes."—  Präsentation transkript:

1 Otto-von-Guericke – Universität Magdeburg Arbeitsgruppe Data and Knowledge Engineering Institut für Technische und Betriebliche Informationssysteme Effizientes Routing in verteilten skalierbaren Datenstrukturen Leipzig, Erik Buchmann, Klemens Böhm

2 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 2 Routing in verteilten skalierbaren Datenstrukturen Merkmale von Peer-to-Peer Systemen alle Knoten gleichberechtigt, keine Trennung Client - Server dynamisch skalierbar auf sehr viele, unabhängige Rechner jeder neue Teilnehmer bringt neue Ressourcen ein wirtschaftlicher Betrieb, keine Rechenleistung auf Vorrat

3 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 3 Routing in verteilten skalierbaren Datenstrukturen Peer-to-Peer Datenstrukturen Zahlreiche Anwendungen, z.B.: -Index- oder Speicherstruktur bei DBMS -Object Lookup in sehr großen Datenbeständen / sehr vielen Rechnern -Auslieferung von Webseiten Operationen: -put(Key,Value), get(Key) Selbstorganisation, selbständige Entscheidungen über Replikation, Lastausgleich, Datenverteilung Varianten: -CAN, Chord, Pastry, P-Grid etc.

4 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 4 Routing in verteilten skalierbaren Datenstrukturen Content-Adressable Networks Jeder Knoten -hat eigenen, n-dimensionalen Schlüsselbereich (Torus) -kennt alle Nachbarn seines Schlüsselbereichs -leitet Messages an Nachbarn in Richtung des Ziels weiter

5 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 5 Routing in verteilten skalierbaren Datenstrukturen Routing im CAN Operationen: put(Key,Value), get(Key) Transformation der Anwendungs- schlüssel in CAN-Schlüssel: (Schlüssel) {k 0,k 1,...,k n } " " { 81256,12445 } Nachrichten an den Knoten weitergeben, dessen Schlüsselraum den geringsten Abstand zum Zielpunkt aufweist Kritische Größe: Message Hops pro Operation get(k)

6 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 6 Routing in verteilten skalierbaren Datenstrukturen Vorschlag 1: Kontaktdaten-Cache zusätzlich zu den Nachbarn weitere Knoten in der Kontaktliste halten veraltete / unvoll- ständige Infor- mationen möglich Informationsbe- schaffung ohne zusätzliche Messages

7 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 7 Routing in verteilten skalierbaren Datenstrukturen Fragen im Zusammenhang mit dem Kontaktdaten-Cache Wahl der richtigen Größe des Cache -zu klein: ineffektiv -zu groß: veraltete Einträge, hoher Ressourcenverbrauch Wahl der optimalen Ersetzungsstrategie -wenig veraltete Einträge, kurze Wege zu häufig nachgefragten Datenobjekten Nutzen bei realen Daten -unser Szenario: Einsatz bei einem Web-Service

8 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 8 Routing in verteilten skalierbaren Datenstrukturen Durchführung der Experimente Simulationsumgebung -PC-Cluster aus 32 Rechnern 2GHz-P4, 2 GB RAM, 100 MBit-Ethernet CAN-Prototyp Knoten Abfragen -2D-Schlüsselraum -Experimente sowohl mit künstlich generierten als auch mit echten Testdaten

9 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 9 Routing in verteilten skalierbaren Datenstrukturen Experiment 1: Cache-Größe bereits geringe Cache-Größe verringert Messages um 2/3

10 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 10 Routing in verteilten skalierbaren Datenstrukturen Vorschlag 2: Lokalitätserhaltende Schlüsselabbildung Eingriff bei der Abbildung von Anwendungsschlüsseln auf CAN-Schlüssel Klassisch: Gleichverteilung der Schlüsselwerte -z.B. Hash-Funktion -soll gleichmäßige Auslastung sicherstellen -keine Berücksichtigung der Abfragelokalität Lokalitätserhaltende Schlüsselabbildung -Abruf benachbarter Objekte zu konstanten Kosten

11 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 11 Routing in verteilten skalierbaren Datenstrukturen Realisierung lokalitätserhaltender Schlüsselabbildung Beispiel: URLs Schlüsselwerte: /iti_dke/ /iti_dke/lehre/ /iti_dke/lehre/ecommerce.html /~buchmann/index.htm /~buchmann/styles.css /~buchmann/back.jpg /~buchmann/empty.gif /~buchmann/logo.jpg /~buchmann/progrs.htm /~buchmann/arrowleft.gif /~buchmann/main.gif /~buchmann/arrowright.gif Schlüsselraum des CAN:

12 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 12 Routing in verteilten skalierbaren Datenstrukturen Experiment 2: Schlüsselabbildung Zahl der Messages konnte nahezu halbiert werden! Gleichverteilung (Zufallsgenerator) Mittlere Anfragelokalität (Künstliche Websurfer) Hohe Anfragelokalität (Webserver-Log)

13 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 13 Routing in verteilten skalierbaren Datenstrukturen Vorschlag 3: Caching-Strategie Optimierung des Kontaktdaten-Cache durch Wahl einer Verdrängungsstrategie Experimente: Random, LRU, LRD, LFU, ISD ISD: Inverse Square Distribution -für P2P-Datenstrukturen entwickelt -Wahrscheinlichkeit für ein Node im Cache umgekehrt proportional zum Quadrat der überbrückten Distanz Aber: Ersetzungsstrategie hat keinen großen Einfluß

14 Otto-von-Guericke Universität Magdeburg Institut für Technische und Betriebliche Informationssysteme Erik Buchmann Folie 14 Routing in verteilten skalierbaren Datenstrukturen Zusammenfassung und Ausblick wir haben: -ein prototypisches, flexibel anpassbares Content- Adressable Network -einen Cluster, auf dem auch parallel arbeitende Peers möglich sind -erste Anwendungen und realistische Testszenarien erste Erfolge: -winziger Cache für Kontaktdaten beschleunigt Routing -die lokalitätserhaltende Abbildung der Anwendungs- schlüssel steigert die Routing-Performanz weiter zukünftige Vorhaben: -Entwicklung von Anwendungen, Replikation, Lastausgleich


Herunterladen ppt "Otto-von-Guericke – Universität Magdeburg Arbeitsgruppe Data and Knowledge Engineering Institut für Technische und Betriebliche Informationssysteme Effizientes."

Ähnliche Präsentationen


Google-Anzeigen