Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

TelegraphCQ Manuel Hertlein. Manuel Hertlein - TelegraphCQ 2 Einleitung Konzepte und Module Architektur Ausblick Inhalt.

Ähnliche Präsentationen


Präsentation zum Thema: "TelegraphCQ Manuel Hertlein. Manuel Hertlein - TelegraphCQ 2 Einleitung Konzepte und Module Architektur Ausblick Inhalt."—  Präsentation transkript:

1 TelegraphCQ Manuel Hertlein

2 Manuel Hertlein - TelegraphCQ 2 Einleitung Konzepte und Module Architektur Ausblick Inhalt

3 Manuel Hertlein - TelegraphCQ 3 Vergleich DBMS DSMS Database Management System (DBMS) Data Stream Management System (DSMS) Persistente Daten Einmalige Anfragen Verarbeitung anfragegetrieben Menge der Daten ist potenziell begrenzt Flüchtige Datenströme Kontinuierliche Anfragen Verarbeitung datengetrieben Menge der Daten ist potenziell unbeschränkt

4 Manuel Hertlein - TelegraphCQ 4 Aktuelle Anfragen in geeigneter Form festhalten und über bestimmten Zeitraum ausführen Eingehende Datenpakte an alle Anfragen leiten, die Daten des entsprechenden Typs beobachten Durch Anfrage dürfen Pakete nicht für andere Anfragen blockiert werden Auf Änderungen des Datenstroms bei laufender Abfrage durch Umstellen des Routing reagieren Allgemeine Anforderungen an ein DSMS-System

5 Manuel Hertlein - TelegraphCQ 5 Einleitung Konzepte und Module Architektur Ausblick Inhalt

6 Manuel Hertlein - TelegraphCQ 6 Kontinuierliche Abfragen mit TelegraphCQ TelegraphCQ Projekt der Datenbankforschungsgruppe der UC Berkely Framework mit Query-Engine für kontinuierliche, adaptive Abfragen auf Datenströme Vereint die Arbeiten und Erkenntnisse aus CACQ (Continously Adap- tive Continous Queries over Streams) PSoup

7 Manuel Hertlein - TelegraphCQ 7 Eddies (1/4) Operator leitet Tupel aus ver- schiedenen Datenquellen zu Query-Operatoren Operatoren besitzen Eingangs- queue, in die zu bearbeitende Tupel abgelegt werden Anschließend an Eddy zurück- geschickt und von diesem wie- tergeleitet Für jedes Tupel kann indivi- duelle Reihenfolge zum Durch- laufen der Operatoren erstellt werden

8 Manuel Hertlein - TelegraphCQ 8 Eddies (2/4) Einzelne Abfrage Eddy σaσa S σbσb a b 15 0 S1S1 S.b < 15 S.a > 10 ReadyDone σaσbσaσb 1 σaσbσaσb 0 SELECT* FROMS WHERES.a > 10 ANDS.b < 15

9 Manuel Hertlein - TelegraphCQ 9 Eddies (2/4) Einzelne Abfrage Eddy σaσa S σbσb a b 15 0 S1S1 S.b < 15 S.a > 10 ReadyDone σaσbσaσb 0 1 σaσbσaσb 1 0 SELECT* FROMS WHERES.a > 10 ANDS.b < 15

10 Manuel Hertlein - TelegraphCQ 10 Eddies (3/4) Aufbau Continuous Query Tupel Format Data Fields ready 1 bit x O done 1 bit x O sourceId integer completedQueries 1 bit x Q O = #Operatoren in EddyQ = #Queries in Eddy DoneQueries completed σ a σ b σ c Q 1 Q Completition Mask Q 1 a b c Completition Mask Q 2 a b c & & Completition Mask

11 Manuel Hertlein - TelegraphCQ 11 Eddies (4/4) Mehrere Abfragen Eddy σaσa S σbσb a b 15 0 S2S2 S.b < 15 S.b < 10 S.a > 10 c24 σcσc S.c = 15 ReadyDone σaσbσcσaσbσc σaσbσcσaσbσc Queries completed Q 1 Q 2 0 SELECT* FROMS WHERES.a > 10 ANDS.b < 15 Q1Q1 SELECT* FROMS WHERES.b < 10 ANDS.c = 15 Q2Q2

12 Manuel Hertlein - TelegraphCQ 12 Eddies (4/4) Mehrere Abfragen Eddy σaσa S σbσb a b 15 0 S2S2 S.b < 15 S.b < 10 S.a > 10 c24 σcσc S.c = 15 ReadyDone σaσbσcσaσbσc σaσbσcσaσbσc Queries completed Q 1 Q 2 0 SELECT* FROMS WHERES.a > 10 ANDS.b < 15 Q1Q1 SELECT* FROMS WHERES.b < 10 ANDS.c = 15 Q2Q2

13 Manuel Hertlein - TelegraphCQ 13 Eddies (4/4) Mehrere Abfragen Eddy σaσa S σbσb a b 15 0 S2S2 S.b < 15 S.b < 10 S.a > 10 c24 σcσc S.c = 15 ReadyDone σaσbσcσaσbσc σaσbσcσaσbσc Queries completed Q 1 Q SELECT* FROMS WHERES.a > 10 ANDS.b < 15 Q1Q1 SELECT* FROMS WHERES.b < 10 ANDS.c = 15 Q2Q2

14 Manuel Hertlein - TelegraphCQ 14 Gruppenfilter S.a8 P8: S.a 4 4 P8 P6:S.a = 6 P7:S.a = 8 P6 6 8 P7 = P4:S.a < 3 P5:S.a < 5 3 <5<3 P5P4 < P1:S.a > 1 P2:S.a > 6 P3:S.a > >6>11>1 P2 P3 P1 > GruppenfilterPrädikateTupel

15 Manuel Hertlein - TelegraphCQ 15 State Modules (SteMs) (1/3) Baum aus Hash Joins SR RxS T RS T

16 Manuel Hertlein - TelegraphCQ 16 State Modules (SteMs) (2/3) SteM R SteM R T SteM T Eddy S SteM S TRTR probe P R P RS P RST build T R PRPR probe P RS

17 Manuel Hertlein - TelegraphCQ 17 State Modules (SteMs) (3/3) PSoup-Erweiterung Date STeM Streaming Data Sources Query STeM Clients Queries Build Data Build PSoup-Eddy Probe Symmetric Join

18 Manuel Hertlein - TelegraphCQ 18 Routing Ziel: Anzahl der Operatoren, die durch- schnittlich durchlaufen werden, soll minimiert werden Operatoren werden je nach Selektivität mit Tickets versehen Jeder Operator bekommt ein Ticket wenn ein Tupel ihn betritt und eines abgezogen, wenn ein Tupel ihn verlässt Operatoren mit mehr Tickets (hoher Selektivität) werden bevorzugt ausgewählt

19 Manuel Hertlein - TelegraphCQ 19 Abfragefenster (1/2) Datenquellevibration_stream Tupellocation, value, timestamp SELECTvalue, timestamp FROMvibration_stream WHERElocation = `Golden Gate Bridge´ WINDOWvibration_stream, ST-7, ST) Snapshot Query SELECTvalue, timestamp FROMvibration_stream WHERElocation = `Golden Gate Bridge´ ANDvalue > 50 for (t = ST; t <= ST+100; t++) { WINDOW(vibration_stream, ST, t); } Landmark Query

20 Manuel Hertlein - TelegraphCQ 20 Abfragefenster (2/2) Sliding Query SELECTAVG(value) FROMvibration_stream WHERElocation = `Golden Gate Bridge´ for (t = ST; t < ST + 70; t+=7) { WINDOW(vibration_stream, t-6, t); } SELECTs2.* FROMvibration_stream1 AS s1, vibration_stream2 AS s2 WHEREs1.location = `Golden Gate Bridge´ ANDs1.value < s2.value ANDs1.timestamp = s2.timestamp for (t = ST; t < ST + 70; t++) { WINDOW(vibration_stream1, t-6, t); WINDOW(vibration_stream2, t-6, t); } Temporal Band-Join

21 Manuel Hertlein - TelegraphCQ 21 Fjords Schnittstelle für Kom- munikation und Daten- austausch zwischen Eddies, Operatoren, SteMs und Datenquellen Queues die sowohl Pull- (statische Daten) als auch Push-Techni- ken (Datenströme) implementieren ST σ Push Pull Push get

22 Manuel Hertlein - TelegraphCQ 22 Flux Flux = Fault-tolerant, Load-balancing eXchange ZieleUmsetzung Gleichmäßige Auslastung des parallelen Systems Neuaufteilung des Input-Streams auf verschiedene Knoten Höhere AusfallsicherheitWenn Knoten ausfällt, wird aktueller Input für diesen Knoten automatisch auf andere Knoten umgelenkt

23 Manuel Hertlein - TelegraphCQ 23 Einleitung Konzepte und Module Architektur Ausblick Inhalt

24 Manuel Hertlein - TelegraphCQ 24 Design

25 Manuel Hertlein - TelegraphCQ 25 Arbeitsweise TelegraphCQ Executor Eddy Query & Control Data Tuples TelegraphCQ Front End Listener Parser Optimizer Catalog SteMs Shared Memory Shared Memory Buffer Pool Query Plan Queue Query Result Queue Disk TelegraphCQ Wrapper

26 Manuel Hertlein - TelegraphCQ 26 Einleitung Konzepte und Module Architektur Ausblick Inhalt

27 Manuel Hertlein - TelegraphCQ 27 Offene Themen Steuerung der Adaptivität Evaluierung und Weiterentwicklung von Routing- Schemata Gruppierung und Aufteilung von Anfragen auf einzelne Threads Effiziente Verwendung von Festplattenspeicher bei Auswertung von Streams Anpassung der Flux-Module für Cluster-Version Entwicklung einer verteilten Version von TelegraphCQ

28 Manuel Hertlein - TelegraphCQ 28 Zusammenfassung Entwicklung von Pervasive Computing entstehen Unmengen an Daten und Datenströmen Konventionelle Techniken stoßen an ihre Grenzen TelegraphCQ vereint nützliche Techniken für kontinuierliche, adaptive Datenabfragen Baut auf Open-Source-Projekt PostgreSQL auf (traditionelle Datenbanktechnik) Kann von Erfahrungen und Entwicklung profitie- ren, muss aber auch Kompromisse bei Design eingehen Unterscheidet sich von anderen Projekten durch großen Fokus auf Adaptivität TelegraphCQ Version 2.1 auf Projektseite verfügbar:

29 Manuel Hertlein - TelegraphCQ 29 Fragen

30 Manuel Hertlein - TelegraphCQ 30 Quellen S. Chandrasekaran, et al.: TelegraphCQ: Continuous Dataflow Processing for an Uncertain World. in CIDR (2003). S. Madden, et al.: Continouosly Adaptive Continouos Queries over Streams. in SIGMOD (2002). S. Manten: TelegraphCQ. in Neue Techniken der Anfragebearbeitung: Datenströme, kontinuierliche Anfragen und adaptive Auswertung (2005).


Herunterladen ppt "TelegraphCQ Manuel Hertlein. Manuel Hertlein - TelegraphCQ 2 Einleitung Konzepte und Module Architektur Ausblick Inhalt."

Ähnliche Präsentationen


Google-Anzeigen