Abschlussvortrag Diplomarbeit Daniel Weber

Präsentation zum Thema: "Abschlussvortrag Diplomarbeit Daniel Weber"—  Präsentation transkript:

1 Abschlussvortrag Diplomarbeit Daniel Weber
Distributed Query Processing for Locality-Aware Data in P2P Networks - HiSbase - Abschlussvortrag Diplomarbeit Daniel Weber 6. April 2019 Daniel Weber

2 Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick
Überblick Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick 6. April 2019 Daniel Weber

3 Einordnung und Motivation
Astrophysik / GAVO Große Datenmengen in astrophysikalischen Katalogen Crossmatching: Übereinstimmungen in verschiedenen Katalogen Flaschenhals der zentralen Verarbeitung der Daten 6. April 2019 Daniel Weber

4 Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick
Überblick Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick 6. April 2019 Daniel Weber

5 Crossmatching direkt auf den Peers welche die Daten halten
Ziele Verteilung der Daten in einem P2P-System unter Beibehaltung der Lokalität Nicht nur Ausnutzung der Rechen- und Plattenkapazität sondern auch des Hauptspeichers der teilnehmenden Peers Crossmatching direkt auf den Peers welche die Daten halten 6. April 2019 Daniel Weber

6 eindimensionaler zirkulärer Keyspace Routing:
P2P-System: Pastry eindimensionaler zirkulärer Keyspace Routing: leaf set: Nachbarn im Keyspace neighbourhood set: Nachbarn im Netz routing table: Prefix-Routing zu anderen Peers konfigurierbare Metrik zur Bestimmung der Netznachbarschaft 6. April 2019 Daniel Weber

7 Abbildung von Regionen statt Datenpunkten auf das P2P-Netz
Lokalität Abbildung von Regionen statt Datenpunkten auf das P2P-Netz 6. April 2019 Daniel Weber

8 Lokalitätserhaltende Datenstrukturen
1 4 5 2 3 6 7 8 9 12 13 10 11 14 15 32 33 36 37 34 35 38 39 40 41 44 45 42 43 46 47 16 17 20 21 18 19 22 23 24 25 28 29 26 27 30 31 48 49 52 53 50 51 54 55 56 57 60 61 58 59 62 63 9 8 7 6 1 2 3 4 5 6. April 2019 Daniel Weber

9 Pastry: Routing auf dem Ring
B C 6. April 2019 Daniel Weber

10 Crossmatching Grobes Vorfiltern Feinarbeit auf kleiner Datenmenge
6. April 2019 Daniel Weber

11 Crossmatching in SQL select ...
from catalogue1 as c1 left outer join catalogue2 as c2 on abs(c1.ra-c2.ra) < r and abs(c1.dec-c2.dec) < r and (c1.x*c2.x+c1.y*c2.y+c1.z*c2.z) < cos(radians(r)) where ... 6. April 2019 Daniel Weber

12 Crossmatching: Herausforderung
Stauchungen in Polarregionen 6. April 2019 Daniel Weber

13 Crossmatching in SQL select ...
from catalogue1 as c1 left outer join catalogue2 as c2 on abs(c1.ra-c2.ra) < case when abs(c1.dec)+r > 89.9 then 180 else degrees(abs(atan(sin(radians(r)) / sqrt(abs(cos(radians(c1.dec-r)) * cos(radians(c1.dec+r))))))) end and abs(c1.dec-c2.dec) < r and (c1.x*c2.x+c1.y*c2.y+c1.z*c2.z) < cos(radians(r)) where ... 6. April 2019 Daniel Weber

14 Crossmatching in HiSbase
select ... from catalogue1 as c1 left outer join catalogue2 as c2 on xmatch(c1,c2,r) where ... Umwandlung XMATCH-Notation in SQL durch HiSbase 6. April 2019 Daniel Weber

15 Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick
Überblick Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick 6. April 2019 Daniel Weber

16 Anfragen: Der Weg zu den Daten Antworten: Der Weg der Daten zurück
Anfragebearbeitung Anfragen: Der Weg zu den Daten Antworten: Der Weg der Daten zurück Fehlerbehandlung 6. April 2019 Daniel Weber

17 Anfragebearbeitung – Teil 1
C D1 D2 D3 D4 P I FullQueryMsg PreparedQueryMsg PartialQueryMsgs Vorbereitung der Anfrage: Ermittlung betroffener Regionen Übersetzung des XMATCH Auswahl des Koordinators Koordination der Anfrage: Befragen aller Regionen Sammeln der Antworten Abarbeitung der Anfrage: Direkt auf den Peers Erkennen doppelter Anfragen 6. April 2019 Daniel Weber

18 Anfragebearbeitung – Teil 2
FullAnswerMsg PartialAnswerMsgs C D1 D2 D3 D4 P I Sammeln der Antworten: Wann sind alle eingetroffen? Ggf. Duplikate entfernen Transfer der Antworten: Transport zurück zum Ursprung der Anfrage 6. April 2019 Daniel Weber

19 Anfragebearbeitung im Fehlerfall
FullErrorMsg PartialErrorMsg C D1 D2 D3 D4 P I Meldung des Fehlers an den Koordinator Abbruch der weiteren Koordination Meldung an den Ursprungsknoten 6. April 2019 Daniel Weber

20 Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick
Überblick Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick 6. April 2019 Daniel Weber

21 730 (bzw. 1460) Anfragen je Knoten bei verschiedenen MPLs
Evaluationssetup 16 PCs mit je 512 MB RAM gegen 1 Server mit 2 GB RAM 208 Regionen 730 (bzw. 1460) Anfragen je Knoten bei verschiedenen MPLs Ziel: Messung des Durchsatzes 6. April 2019 Daniel Weber

22 Evaluationsanfragen zufällige Auswahl von Objekten aus 2MASS und ROSAT
Suche von „Treffern“ dazu in SDSS Bildung von Anfrage-fenstern durch Auf- und Abrunden 6. April 2019 Daniel Weber

23 6. April 2019 Daniel Weber

24 Evaluationsergebnisse
Superlineare Steigerung des Durchsatzes bei 16 Knoten MPL-Maximum bei einem Knoten zwischen 5 und 10 parallelen Anfragen MPL-Maximum bei 16 Konten bei 600 parallelen Anfragen (je Knoten!) 6. April 2019 Daniel Weber

25 Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick
Überblick Einordnung und Motivation Ziele Anfragebearbeitung Evaluation Ausblick 6. April 2019 Daniel Weber

26 Ausblick: Alternative Koordinatorauswahl
Bisher: immer „erster“ betroffener Knoten als Koordinator Besser: „mittlerer“ Knoten, da dieser vermutlich mehr angefragte Regionen abdeckt Dadurch Reduzierung der transportierten Datenmenge B A C 6. April 2019 Daniel Weber

27 Zusätzliche Ausgabeformate Handhabung von Query-Hot-Spots
Ausblick: Weiteres Anbindung von Clients Zusätzliche Ausgabeformate Handhabung von Query-Hot-Spots 6. April 2019 Daniel Weber

28 Verteilte Anfragebearbeitung Evaluation von HiSbase
Zusammenfassung Verteilte Anfragebearbeitung Evaluation von HiSbase 6. April 2019 Daniel Weber